跨域文本情绪分类模型的训练方法和分类方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114186063A(43)申请公布日2022.03.15(21)申请号202111522655.1(22)申请日2021.12.14(71)申请人合肥工业大学地址230009安徽省合肥市包河区屯溪路193号(72)发明人卫星王秀秀赵冲陆阳赵明刘玉洁姚尚虞浩白婷(74)专利代理机构上海光华专利事务所(普通合伙)31219代理人王积毅(51)Int.Cl.G06F16/35(2019.01)G06F40/30(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书10页附图6页(54)发明名称跨域文本情绪分类模型的训练方法和分类方法(57)摘要本发明提供一种跨域文本情绪分类模型的训练方法和分类方法，训练方法包括：获取源域和目标域的文本数据，进行预处理得到词向量，并分为训练集和测试集；通过双向门限循环单元网络模型和自注意力机制提取训练集中的文本特征；在损失函数的约束下，根据文本特征分别同时训练第一神经网络模型、第二神经网络模型直至收敛；其中，根据互信息，构建第一神经网络模型的损失函数，并采用梯度反转实现第二神经网络模型和特征提取器的对抗学习训练；根据测试集中的词向量，得到跨域文本情绪分类模型。本发明能够有效将未标注的文本数据集进行分类，能够将其他领域的知识迁移到目标域来避免标注数据不足的问题，同时提高跨域文本情绪分类的准确性和可信度。CN114186063ACN114186063A权利要求书1/3页1.一种跨域文本情绪分类模型的训练方法，其特征在于，所述训练方法包括：获取源域和目标域的文本数据，并进行预处理，得到对应的词向量作为预训练样本集；其中，所述预训练样本集包括训练集和测试集；通过双向门限循环单元网络模型和自注意力机制提取训练集中词向量的文本特征；其中，双向门限循环单元网络模型和自注意力机制组成特征提取器；在损失函数的约束下，根据所述文本特征分别训练所述第一神经网络模型、所述第二神经网络模型，直至收敛，得到训练好的第一神经网络模型和第二神经网络模型；其中，结合所述文本特征、第一神经网络模型输出的预测情感分类结果和互信息技术，构建第一神经网络模型的损失函数，并采用梯度反转来实现所述第二神经网络模型和所述特征提取器的对抗学习训练；将测试集中的词向量输入特征提取器、第一神经网络模型和第二神经网络模型，得到跨域文本情绪分类模型。2.根据权利要求1所述的训练方法，其特征在于，所述将测试集中的词向量输入特征提取器、第一神经网络模型和第二神经网络模型，得到跨域文本情绪分类模型的步骤包括：计算所述第一神经网络模型、所述第二神经网络模型的损失函数之和，并将其最小化；将测试集中来自目标域的词向量依次输入特征提取器和第一神经网络模型，计算得到当前第一神经网络模型的预测精度并进行迭代训练，在迭代预设次数后，将预测精度最高的第一神经网络模型和对应的特征提取器、第二神经网络模型作为所述跨域文本情绪分类模型。3.根据权利要求1所述的训练方法，其特征在于，所述获取源域和目标域的文本数据，并进行预处理，得到对应的词向量的步骤包括：对所述源域和所述目标域中的文本数据进行词嵌入；对所述源域和所述目标域中的文本数据进行上下文嵌入；根据词嵌入和上下文嵌入的结果处理得到对应的词向量：其中，ei表示所述词向量，word2vec(wi)表示词嵌入的结果；表示上下文嵌入的结果，wi表示文本数据中的第i个词汇；表示文本数据中的第t个字节在第1层隐藏层的隐藏状态；P表示文本数据中字节的总数，αl表示第1层隐藏层的权重。4.根据权利要求1所述的训练方法，其特征在于，所述第一神经网络模型的损失函数为：L1＝Lsent+LMI其中，L1表示所述第一神经网络模型的损失函数；Lsent表示来自源域的文本特征对应的损失函数，Lsent＝C(f(xi)，yi)，C表示所述第一神经网络模型，f(xi)表示第i个来自源域的文本特征，yi表示第i个来自源域的文本特征对应的预测情感分类结果；LMI表示来自目标域的文本特征对应的损失函数，LMI＝Ey[logPθ(y)]‑Ex[∑yPθ(y|x)logPθ(y|x)]，Pθ(y)表示来自目标域的文本特征对应的预测情感分类结果的分布，Pθ(y|x)表示来自目标域的文本特2CN114186063A权利要求书2/3页征对应的预测情感分类结果的对数。5.根据权利要求1所述的训练方法，其特征在于，所述第二神经网络模型的损失函数为：其中，λ表示源域和目标域之间的权衡参数；N表示输入的文本特征的总数；f表示源域与目标域进行权重共享的特征提取网络；xt表示输入的第t个文本特征；K表示第二神经网络模型的总数；Ld表示第二神经网络模型；Dj表示第