基于多模态的情绪识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108805089A(43)申请公布日2018.11.13(21)申请号201810613472.2(22)申请日2018.06.14(71)申请人南京云思创智信息科技有限公司地址210042江苏省南京市玄武区玄武大道699-22号22栋301(72)发明人俞旸凌志辉(74)专利代理机构南京知识律师事务所32207代理人张苏沛(51)Int.Cl.G06K9/00(2006.01)G06F17/27(2006.01)G06K9/62(2006.01)G10L25/63(2013.01)G10L25/30(2013.01)权利要求书3页说明书15页附图9页(54)发明名称基于多模态的情绪识别方法(57)摘要本发明的基于多模态的情绪识别方法，包括数据采集设备、输出设备、情绪分析软件系统，情绪分析软件系统通过对数据采集设备得到的数据进行综合分析推理，最终把结果输出至输出设备上；具体步骤为：基于面部图像表情情绪识别步骤、基于语音信号情绪识别步骤、基于文本语义情感分析步骤、基于人体姿态情绪识别步骤、基于生理信号情绪识别步骤，以及基于多轮对话语义理解步骤和基于时序多模态情绪语义融合关联判断步骤。本发明突破性的打通了五大单模态的情绪识别，创新性的利用深度神经网络将多个单模态的信息由神经网络编码、深度的关联和理解后进行综合判断，大幅度的提高了准确率，适用于绝大多数一般问询互动类应用场景。CN108805089ACN108805089A权利要求书1/3页1.一种基于多模态的情绪识别方法，它包括数据采集设备、输出设备、情绪分析软件系统，情绪分析软件系统通过对数据采集设备得到的数据进行综合分析推理，最终把结果输出至输出设备上，其特征在于，具体步骤为：基于面部图像表情情绪识别步骤，在特定的情绪状态下人们会产生特定的表情模式，基于动态图像序列和表情图像的运动信息，基于区域的光流模型和基准光流算法从复杂背景和多姿态表情序列中有效地获得运动场信息；基于语音信号情绪识别步骤，基频、时长、音质和清晰度声学参数作为情绪的语音特征量，建立情绪语音数据库，不断提取新的语音特征量对语音情绪进行识别；基于文本语义情感分析步骤，文本情绪分析分为词语、句子、篇章三个级别，基于词语的方法是分析情绪特征词，根据阈值判断词语极性或者计算词汇语义的相似度；基于句子的方法是对每个句子采样情绪标签，抽取评价词语或者获取评价短语进行分析；基于篇章的方法是在句子情绪倾向分析的基础上进行篇章的整体情绪倾向性分析；基于人体姿态情绪识别步骤，提取身体各种情绪状态下的典型样例，对每个姿势进行判别分析出相近情绪的细微差别，建立特征库，根据人体动作的持续时间、频率等运动性质作为评判依据，从中提取物理运动信息来进行识别；基于生理信号情绪识别步骤，情绪的生理机制包括情绪感知和情绪的身体生理反应，情绪感知是情绪的主要产生机制，通过脑电信号反映大脑的不同生理反应，由于其信号的特殊性，通过时域、频域和时频域三种特征进行识别，时频均谱熵值、分形维数等都作为衡量脑部活动的特征量；基于多轮对话语义理解步骤，对当前轮的输入话语在传统seq2seq的语言生成模型基础上加入了情绪识别的注意力机制，对话管理里加入了时间序列上前面多轮对话里的情绪跟踪；每个当前的用户说的话语被输入到一个双向的LSTM编码器(encoder)里，接着把当前甄别到不同的情绪状态输入与刚才产生的用户话语的编码器输出合并，共同输入到解码器里，这样解码器既有了用户的话语也有了当前的情绪，之后生成的系统对话响应就是个性化、特定于当前用户情绪状态的输出；情绪感知的信息状态更新(SentimentAwareInformationStateUpdate,ISU)策略，对对话状态进行更新的时机是，任意有新信息的时刻；对话状态更新时，每次更新都是确定的，对于前一时刻同一系统状态、同一系统行为，和相同的当前时刻用户情绪状态，必然产生，相同的当前时刻系统状态；基于时序多模态情绪语义融合关联判断步骤，每个RNN递归神经网络把每个单模态情绪理解的中间神经网络表示形式按时间序列组织起来，其中每个时间点上的一个神经网络单元都来自单模态系统的神经网络的中间层的对应时间点的输出；经过每个RNN递归神经网络的单一时间点的神经网络后的输出被输送到多模态融合关联判断RNN递归神经网络，多模态RNN递归神经网络的每个时间点汇集了每个单模态的RNN递归神经网络的当前时间点上的神经网络输出，在综合了多模态后，每个时间点的输出即是最终该时间点的情绪判断结果。2.根据权利要求1所述的基于多模态的情绪识别方法，其特征在于：以时序为基准将单模态下的情绪语义在时序对齐后进行训练，从而实现时序上跨模态的自动关联对应以及最终融合的