基于多任务联合学习行业预警方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115905536A(43)申请公布日2023.04.04(21)申请号202211522717.3G06N3/047(2023.01)(22)申请日2022.11.30G06N3/084(2023.01)G06N3/08(2023.01)(71)申请人北京智慧星光信息技术有限公司地址100089北京市海淀区海淀大街8号A座22层A区(72)发明人韩勇(74)专利代理机构北京细软智谷知识产权代理有限责任公司11471专利代理师葛钟(51)Int.Cl.G06F16/35(2019.01)G06F40/289(2020.01)G06F40/30(2020.01)G06N3/0455(2023.01)G06N3/0464(2023.01)权利要求书2页说明书9页附图3页(54)发明名称基于多任务联合学习行业预警方法及装置(57)摘要本发明涉及一种基于多任务联合学习行业预警方法及装置，所述方法包括对训练语料进行情感分类得到标签语料；从行业文本语料中选取行业相应的负面特征词作为预警特征词；基于标签语料采用预训练模型BERT构建第一任务模型，基于预警特征词采用预训练模型BERT构建第二任务模型；采用二元组标签对相结合的第一任务模型和第二任务模型进行整体训练，得到多任务联合预警模型；将待预测文本输入至多任务联合预警模型中，得到预警结果。本发明通过两个任务模型联合训练，第一个任务模型用于识别正负面情感极性；第二任务模型用于预警特征词汇抽取；通过两个任务模型的联合学习，能够更加精准确定是否为预警数据，避免现有的全行业敏感混淆推送干扰用户。CN115905536ACN115905536A权利要求书1/2页1.一种基于多任务联合学习行业预警方法，其特征在于，包括：获取训练语料，对所述训练语料进行情感分类，得到标签语料；确定行业文本语料，从所述行业文本语料中选取行业相应的负面特征词作为预警特征词；结合所述标签语料和预警特征词，得到二元组标签；基于标签语料采用预训练模型BERT构建第一任务模型，用于情感极性分类；基于预警特征词采用预训练模型BERT构建第二任务模型，用于抽取预警特征词；采用所述二元组标签作为训练数据集，对相结合的第一任务模型和第二任务模型进行整体训练，得到多任务联合预警模型；将待预测文本输入至所述多任务联合预警模型中，得到预警结果。2.根据权利要求1所述的方法，其特征在于，所述从所述行业文本语料中选取行业相应的负面特征词作为预警特征词，包括：收集预设行业的负面词汇；收集预设行业的互联网负面数据；通过N‑Gram模型将所述负面词汇加入自定义词典，并对所述互联网负面数据进行分词，将包含连续3个的负面词汇的负面词汇保存，并统计词频；过滤所述词频低于预设阈值的负面词汇，将其余负面词汇作为预警特征词。3.根据权利要求2所述的方法，其特征在于，所述结合所述标签语料和预警特征词，得到二元组标签，包括：匹配所述预警特征词和所述标签语料，得到二元组标签。4.根据权利要求1所述的方法，其特征在于，所述基于标签语料采用预训练模型BERT构建第一任务模型，包括：将标签语料输入预训练模型BERT中，输出分类任务cls和情感极性tokens序列；将所述分类任务cls和所述情感极性tokens序列输入预构建的textcnn模型中，输出第一特征矩阵；将所述分类任务cls与第一特征矩阵结合得到第二特征矩阵；对所述第二特征矩阵进行建模，得到第一任务模型。5.根据权利要求4所述的方法，其特征在于，所述基于预警特征词采用预训练模型BERT构建第二任务模型，包括：将预警特征词输入预训练模型BERT中，输出特征词tokens序列；将所述特征词tokens序列输入预构建的单指针网络模型，得到第三特征矩阵；对所述第三特征矩阵进行建模，得到第二任务模型。6.根据权利要求1所述的方法，其特征在于，所述采用所述二元组标签作为训练数据集，对相结合的第一任务模型和第二任务模型进行整体训练，得到多任务联合预警模型，包括：通过训练分别得到第一任务模型的第一损失函数和第二任务模型的第二损失函数；对第一损失函数和第二损失函数以特定权值进行加权计算，得到总损失函数；根据所述总损失函数确定多任务联合预警模型。7.根据权利要求6所述的方法，其特征在于，采用一下方式对第一损失函数和第二损失2CN115905536A权利要求书2/2页函数以特定权值进行加权计算，得到总损失函数，包括：Loss＝αloss2+(1‑α)loss1其中，Loss为总损失函数，α为特定权值，loss1为第一损失函数，loss2为第二损失函数。8.根据权利要求1所述的方法，其特征在于，所述标签语料包括正面、中性和负面。9.一种基于多任务联合学习行业预警装置，其特征在于，包