基于BERT和方面特征定位模型的方面级情感分析方法及模型.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113705238A(43)申请公布日2021.11.26(21)申请号202110670846.6(22)申请日2021.06.17(71)申请人梧州学院地址543000广西壮族自治区梧州市富民三路82号(72)发明人庞光垚陆科达玉振明彭子真朱肖颖黄宏本莫智懿农健冀肖榆(74)专利代理机构广州三环专利商标代理有限公司44202代理人卢泽明(51)Int.Cl.G06F40/30(2020.01)G06F40/289(2020.01)G06N3/08(2006.01)权利要求书4页说明书15页附图8页(54)发明名称基于BERT和方面特征定位模型的方面级情感分析方法及模型(57)摘要本发明涉及一种基于BERT和方面特征定位模型的方面级情感分析方法及模型，该方法包括：首先利用BERT模型来获得高质量的上下文信息表示和方面信息表示，以保持文本信息的完整性；接着构建一个基于多头注意机制的注意编码器来学习体表征和上下文表征之间的相互作用，整合体词和上下文之间的关系，进一步区分不同句子和方面词对分类结果的贡献；然后构造一个方面特征定位模型来捕获句子建模时的方面信息，并将方面的完整信息整合到交互语义中，以减少与方面词无关的干扰词的影响，提高方面词信息的完整性；最后融合与目标相关的上下文和目标重要信息，并在融合信息的基础上利用情绪预测因子预测不同情绪极性的概率。能够更好地模拟上下文之间的隐式关系，更好地利用了方面词的信息和减少与方面词无关信息的干扰，从而CN113705238A获得了更高的精确度和宏F1。CN113705238A权利要求书1/4页1.一种基于BERT和方面特征定位模型的方面级情感分析方法，其特征在于，包括：S1.利用BERT模型来获得高质量的上下文信息表示和方面信息表示，以保持文本信息的完整性；S2.构建一个基于多头注意机制的注意编码器来学习体表征和上下文表征之间的相互作用，整合体词和上下文之间的关系，进一步区分不同句子和方面词对分类结果的贡献；S3.构造一个方面特征定位模型来捕获句子建模时的方面信息，并将方面的完整信息整合到交互语义中，以减少与方面词无关的干扰词的影响，提高方面词信息的完整性；S4.融合与目标相关的上下文和目标重要信息，并在融合信息的基础上利用情绪预测因子预测不同情绪极性的概率。2.根据权利要求1所述的方法，其特征在于，所述“利用BERT模型来获得高质量的上下文信息表示和方面信息表示”是指将预训练的BERT模型作为文本向量化机制，生成高质量的文本特征向量表示，其中所述BERT是一个预训练的语言表示模型，所述文本向量化机制是指将每个单词映射到高维向量空间，具体为：所述BERT模型通过使用深层的多层双向转换器编码器来生成文本的表示，同时通过在输入序列的开头和结尾分别添加特殊的分词标记对给定的单词序列划分为不同的段，并为不同的片段生成标记嵌入、分段嵌入和位置嵌入，最后将注释文本和方面词分别转换、得到上下文信息表示和方面信息表示。3.根据权利要求2所述的方法，其特征在于，所述“构建一个基于多头注意机制的注意编码器来学习体表征和上下文表征之间的相互作用，整合体词和上下文之间的关系”，是指基于多头部注意机制实现在方面级情感分析的重要特征提取，提取上下文和目标的重要信息，具体为：首先引入转换编码器，所述转换编码器是一种基于多头注意机制和位置前馈网络的新型特征抽取器，能够在不同的特征表示子空间中学习到不同的重要信息和直接捕获序列中的长期相关性；然后通过转换编码器从BERT模型生成的方面信息表示和上下文信息表示中提取交互语义，确定对方面词的情感定性最为重要的上下文，同时以上下文的长期依赖信息和上下文感知信息作为位置前馈网络的输入数据，分别生成隐藏状态，并在均值池化操作后得到上下文交互的最终交互隐藏状态和语境与方面词的最终互动隐藏状态。4.根据权利要求3所述的方法，其特征在于，所述“通过在输入序列的开头和结尾分别添加特殊的分词标记对给定的单词序列划分为不同的段，并为不同的片段生成标记嵌入、分段嵌入和位置嵌入，最后将注释文本和方面词分别转换、得到上下文信息表示和方面信息表示”，具体为：所述BERT模型通过在输入序列的开头和结尾分别添加特殊的分词标记[CLS]和[SEP]对给定的单词序列划分为不同的段，并为不同的片段生成标记嵌入、分段嵌入和位置嵌入，使输入序列的嵌入表示中包含了这三种嵌入的全部信息，最后在BERT模型中将注释文本和方面词分别转换为“[CLS]+注释文本+[SEP]”和“[CLS]+目标+[SEP]”得到上下文表示Ec和方面表示Ea：Ec＝{we[CLS],we1,we2,...,we[SEP]}；Ea＝{ae[CLS],ae1,ae2,.