基于深度混合模型迁移学习的评论情感分类方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109271522A(43)申请公布日2019.01.25(21)申请号201811383793.4(22)申请日2018.11.20(71)申请人深圳大学地址518000广东省深圳市南山区南海大道3688号(72)发明人代明军谢立(74)专利代理机构深圳市科吉华烽知识产权事务所(普通合伙)44248代理人胡玉(51)Int.Cl.G06F16/35(2019.01)G06F16/33(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)G06Q30/02(2012.01)权利要求书2页说明书9页附图3页(54)发明名称基于深度混合模型迁移学习的评论情感分类方法及系统(57)摘要本发明提供基于深度混合模型迁移学习的评论情感分类方法及系统，所述评论情感分类方法包括以下步骤：步骤S1，采集商品评论，并对商品评论的源领域数据样本集进行预处理；步骤S2，将预处理后的数据映射为词向量；步骤S3，对商品评论的源领域数据样本集进行深度混合模型预训练；步骤S4，对商品评论的目标领域数据样本集进行深度混合模型的微调；步骤S5，对目标领域的商品评论进行情感分类。本发明训练速度快且训练难度低，只需要几轮训练便可以得到较高分类精度，并且在噪音较多或者数量较少的数据集训练时也能得到较好的分类效果，对数据集依赖性小，鲁棒性良好；本发明还有效提高了可迁移能力，达到了提高迁移学习后的分类精度等目的。CN109271522ACN109271522A权利要求书1/2页1.一种基于深度混合模型迁移学习的评论情感分类方法，其特征在于，包括以下步骤：步骤S1，采集商品评论，并对商品评论的源领域数据样本集进行预处理；步骤S2，将预处理后的数据映射为词向量；步骤S3，对商品评论的源领域数据样本集进行深度混合模型预训练；步骤S4，对商品评论的目标领域数据样本集进行深度混合模型的微调；步骤S5，对目标领域的商品评论进行情感分类；其中，所述步骤S3包括以下子步骤：步骤S301，对步骤S2得到的源领域已处理的词向量数据进行卷积运算；步骤S302，将卷积运算后的节点输出输入至门循环单元网络；步骤S303，将门循环单元网络的节点输出输入至注意力机制的加权变换矩阵，得到预设维度向量，并将其变成二维向量；步骤S304，通过激活函数将激活后的二维向量中数值超过预设阈值的置1，数值小于预设阈值的置0，得到对应样本的预测标签步骤S305，利用交叉熵代价函数计算情感极性标签y和预测标签之间的损失值L；步骤S306，利用批量梯度下降算法反向传播并实现反复迭代，实现深度混合模型预训练。2.根据权利要求1所述的基于深度混合模型迁移学习的评论情感分类方法，其特征在于，所述步骤S304中，通过激活函数作为输出层激活函数计算二维向量的计算值σ(Z)j，其中，Zj为全连接网络输出的二维向量Z中的第j个元素，j为二维向量Z的元素下标，K＝2。3.根据权利要求1所述的基于深度混合模型迁移学习的评论情感分类方法，其特征在于，所述步骤S305中，通过交叉熵代价函数计算情感极性标签y和预测标签之间的损失值L。4.根据权利要求1至3任意一项所述的基于深度混合模型迁移学习的评论情感分类方法，其特征在于，所述步骤S4包括以下子步骤：步骤S401，将预设数量的目标领域带标签数据集P重复步骤S1和步骤S2，同时在深度混合模型后加入池化层；步骤S402，将步骤S3预训练所得的权重WS导入至深度混合模型；步骤S403，将步骤S3得到的经过预处理后的目标领域数据PS进行微调。5.根据权利要求4所述的基于深度混合模型迁移学习的评论情感分类方法，其特征在于，所述步骤S403中，对门循环单元网络的权重参数进行冷冻，然后反向迭代更新j次，进而通过将卷积层迭代更新后的权重参数、注意力模型迭代更新后的权重参数、门循环单元网络迭代更新后的权重参数和全连接层迭代更新后的权重参数相加，得到在目标领域微调后的深度混合模型的全部权重参数WY，以实现微调。6.根据权利要求4所述的基于深度混合模型迁移学习的评论情感分类方法，其特征在于，所述步骤S403包括以下子步骤：2CN109271522A权利要求书2/2页步骤S4031，对输入的目标领域数据PS进行卷积运算；步骤S4032，将卷积层的输出通过池化层；步骤S4033，将池化层的节点输出输入至门循环单元网络；步骤S4034，将门循环单元网络的输出至注意力机制的加权变换矩阵，得到预设维度向量，并将其变成二维向量；步骤S4035，通过激活函数将激活后的二维向量中数值超过预设阈值的置1，数值小于预设阈值的置0，得到对应样本的预测标签步骤S4036，利用交叉熵代价函数计算情感极性标签y和预测标签之间的损失值L