一种基于先验知识的BERT模型的方面级情感分析方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115905527A(43)申请公布日2023.04.04(21)申请号202211398193.1G06F40/295(2020.01)(22)申请日2022.11.09G06F18/2431(2023.01)G06F18/2415(2023.01)(66)本国优先权数据G06F18/22(2023.01)202210478718.62022.04.29CNG06N3/044(2023.01)(71)申请人重庆大学G06N3/045(2023.01)地址400044重庆市沙坪坝区沙正街174号G06N3/047(2023.01)申请人重庆市特种设备检测研究院G06N3/049(2023.01)(72)发明人熊庆宇柯采易华玲高旻G06N3/08(2023.01)陈杰罗力豪林军成(74)专利代理机构重庆西南华渝专利代理有限公司50270专利代理师陈香兰(51)Int.Cl.G06F16/35(2019.01)G06F40/30(2020.01)权利要求书3页说明书9页附图2页(54)发明名称一种基于先验知识的BERT模型的方面级情感分析方法(57)摘要本发明提供了一种基于先验知识的BERT模型的方面级情感分析方法。该方法包括：获得多个方面情感对；将待分析语句和不同的方面情感对组合构成不同的输入文本；将每个输入文本输入方面级情感分析模型，方面级情感分析模型输出每个输入文本的情感分析结果，情感分析结果包括输入文本中待分析语句是否与方面情感对匹配的判断结果；方面级情感分析模型包括：词向量编码模块、第一全连接层、先验知识获取模块和特征融合模块。在方面级情感分析模型中加入先验知识获取模块获得先验知识向量，利用简单但有效的先验知识向量与语义特征向量相结合，让模型学习到充分的少样本类别，提升待分析语句与方面情感对是否匹配的判断效果。CN115905527ACN115905527A权利要求书1/3页1.一种基于先验知识的BERT模型的方面级情感分析方法，其特征在于，包括：设置N个方面和M个情感，将方面分别与不同的情感组合获得多个方面情感对，所述N和M均为正整数；获取待分析语句，将所述待分析语句和不同的方面情感对组合构成不同的输入文本；将每个输入文本输入方面级情感分析模型，所述方面级情感分析模型输出每个输入文本的情感分析结果，所述情感分析结果包括输入文本中待分析语句是否与方面情感对匹配的判断结果；所述方面级情感分析模型包括：词向量编码模块，被配置为对输入文本进行词嵌入处理，对词嵌入处理结果进行编码处理获得所述输入文本的语义信息；第一全连接层，被配置为基于所述语义信息获得语义特征向量；先验知识获取模块，被配置为获取所有输入文本中待分析语句与方面情感对匹配的先验知识，基于所述先验知识获得先验知识向量；特征融合模块，被配置为结合语义特征向量和先验知识向量判断待分析语句是否与方面情感对匹配。2.如权利要求1所述的基于先验知识的BERT模型的方面级情感分析方法，其特征在于，所述特征融合模块的具体执行过程为：融合语义特征向量和先验知识向量获得第一向量；将第一向量输入第一激活函数获得输入文本中待分析语句是否与方面情感对匹配的判断结果的概率分布向量。3.如权利要求2所述的基于先验知识的BERT模型的方面级情感分析方法，其特征在于，所述输入文本中待分析语句是否与方面情感对匹配的判断结果的概率分布向量g为：2g＝softmax(P[CLS]+τ·logP(y))∈R；2其中，R表示二维实数向量集合；P[CLS]表示语义特征向量；P(y)表示先验知识向量；τ表示预设的调节参数；第一激活函数为softmax函数。4.如权利要求1或2或3所述的基于先验知识的BERT模型的方面级情感分析方法，其特征在于，所述情感分析结果还包括目标词语标注结果；所述词向量编码模块还被配置为对词嵌入处理结果进行编码处理获得输入文本中待分析语句所有单词的词向量；所述方面级情感分析模型还包括：第二全连接层，被配置为基于所述词向量获取单词特征向量；解码标注模块，被配置为执行：当特征融合模块输出的判断结果为待分析语句与方面情感对匹配时，则对待分析语句的所有单词特征向量进行解码获得解码序列，并在解码序列中标记出目标词语位置获得标记序列；当特征融合模块输出的判断结果为待分析语句与方面情感对不匹配时，输出匹配失败。5.如权利要求1或2或3所述的基于先验知识的BERT模型的方面级情感分析方法，其特征在于，所述情感分析结果还包括目标词语标注结果；所述词向量编码模块还被配置为对词嵌入处理结果进行编码处理获得输入文本中待分析语句所有单词的词向量；2CN115905527A权利要求书2/3页所述方面级情感分析模型还包括：第二全连接层，被配置为基于所述词向