用于在人机对话中识别用户情绪的方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114582373A(43)申请公布日2022.06.03(21)申请号202210215326.0(22)申请日2022.03.07(71)申请人浙江连信科技有限公司地址310051浙江省杭州市滨江区长河街道越达巷79号1幢516室(72)发明人徐涛(74)专利代理机构北京慧加伦知识产权代理有限公司16035专利代理师李永敏(51)Int.Cl.G10L25/63(2013.01)G10L15/22(2006.01)G10L15/26(2006.01)G10L15/02(2006.01)G06V40/16(2022.01)权利要求书2页说明书8页附图3页(54)发明名称用于在人机对话中识别用户情绪的方法及装置(57)摘要本公开的实施例提供一种用于在人机对话中识别用户情绪的方法和装置。该方法包括：获取第一语音数据，其中，第一语音数据为用户在本轮的语音数据；从第一语音数据中提取表征情绪的第一音频特征和表征情绪的第一文本特征；获取第二文本特征和第二音频特征中的至少一个，其中，第二文本特征为用户在前N轮中的各轮中的文本特征的加权和，第二音频特征为用户在前N轮中的各轮中的音频特征的加权和，其中，N为正整数；将第一音频特征、第一文本特征、以及第二文本特征和第二音频特征中的至少一个拼接成拼接特征；以及通过经训练的多模态模型基于拼接特征来识别用户在本轮的第一情绪。CN114582373ACN114582373A权利要求书1/2页1.一种用于在人机对话中识别用户情绪的方法，包括：获取第一语音数据，其中，所述第一语音数据为用户在本轮的语音数据；从所述第一语音数据中提取表征情绪的第一音频特征和表征情绪的第一文本特征；获取第二文本特征和第二音频特征中的至少一个，其中，所述第二文本特征为所述用户在前N轮中的各轮中表征情绪的文本特征的加权和，所述第二音频特征为所述用户在所述前N轮中的各轮中表征情绪的音频特征的加权和，其中，N为正整数；将所述第一音频特征、所述第一文本特征、以及所述第二文本特征和所述第二音频特征中的所述至少一个拼接成拼接特征；以及通过经训练的多模态模型基于所述拼接特征来识别所述用户在本轮的第一情绪。2.根据权利要求1所述的方法，其中，在所述第二文本特征中各个文本特征的权重按照时间顺序依次递增，和/或，在所述第二音频特征中各个音频特征的权重按照时间顺序依次递增。3.根据权利要求1所述的方法，还包括：获取第一视频数据，其中，所述第一视频数据包括所述用户在本轮的面部图像数据；从所述第一视频数据中提取表征情绪的第一图像特征；以及将所述第一图像特征拼接到所述拼接特征中。4.根据权利要求3所述的方法，还包括：获取第二图像特征，其中，所述第二图像特征为所述用户在所述前N轮中的各轮中表征情绪的图像特征的加权和；以及将所述第二图像特征拼接到所述拼接特征中。5.根据权利要求1至4中任一项所述的方法，还包括：获取第一生理特征数据，其中，所述第一生理特征数据为所述用户在本轮的生理特征数据；从所述第一生理特征数据中提取表征情绪的第一生理特征；以及将所述第一生理特征拼接到所述拼接特征中。6.根据权利要求5所述的方法，还包括：获取第二生理特征，其中，所述第二生理特征为所述用户在所述前N轮中的各轮中表征情绪的生理特征的加权和；以及将所述第二生理特征拼接到所述拼接特征中。7.根据权利要求1所述的方法，其中，所述用户情绪包括情绪类别和情绪强度，所述情绪强度包括多个情绪强度等级，所述方法还包括：获取所述用户在所述前N轮中的各轮中的多个第二情绪；响应于所述多个第二情绪的情绪类别与所述第一情绪的情绪类别相同，根据所述多个第二情绪的情绪强度等级确定情绪强度等级变化曲线；以及响应于所确定的情绪强度等级变化曲线与预设的多个情绪强度等级变化曲线中的一个相同，根据所确定的情绪强度等级变化曲线来预测所述用户在本轮的情绪强度，以及基于所预测的情绪强度来调整所述第一情绪的情绪强度。8.根据权利要求7所述的方法，还包括：响应于所述多个第二情绪的情绪类别与所述第一情绪的情绪类别相同，2CN114582373A权利要求书2/2页根据所述多个第二情绪的情绪强度等级和所述第一情绪的情绪强度等级来预测情绪强度发展趋势；以及基于所述用户的所述第一情绪和所预测的情绪强度发展趋势来提供对所述用户的答复。9.一种用于在人机对话中识别用户情绪的装置，包括：至少一个处理器；以及存储有计算机程序的至少一个存储器；其中，当所述计算机程序由所述至少一个处理器执行时，使得所述装置执行根据权利要求1至8中任一项所述的方法的步骤。10.一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在由处理器执行时实现根据权利要求1至8中任一项所述的方法的步骤。3CN1