多模态信息处理视角下跨文化传播方法与系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113901829A(43)申请公布日2022.01.07(21)申请号202110249752.1(22)申请日2021.03.08(71)申请人长沙师范学院地址410100湖南省长沙市星沙特立路9号(72)发明人彭凤英(74)专利代理机构北京保识知识产权代理事务所(普通合伙)11874代理人汪浩(51)Int.Cl.G06F40/30(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)G10L25/63(2013.01)权利要求书1页说明书5页附图1页(54)发明名称多模态信息处理视角下跨文化传播方法与系统(57)摘要本发明公开了多模态信息处理视角下跨文化传播方法与系统，属于信息处理技术领域。本发明主要目的在于更好的完成对文化的情感分析，包括面向多模态语言数据的深度神经网络模型设计和多模态深度语义理解以及情感分析，主要是从事件的多模态构成入手，分析各组成模态的数据特点，在此基础上实现深度神经网络的构建，最后完成语义理解和情感分析；本发明有效解决了现有常见的单模态情感识别方法和系统识别率较低、可靠性差，无法高效准确的完成用户情感判断的问题。CN113901829ACN113901829A权利要求书1/1页1.多模态信息处理视角下跨文化传播方法，其特征在于，包括有以下步骤：S1、基于现有深度学习技术，研究分析文本、语音以及视觉三种模态的数据之间的差异性，并设计与上述不同模态下数据相匹配的深度神经网络模型；S2、输入文本数据，使用卷积网络对文本序列进行识别，得到文本中有效的局部特征，并通过语言标签来实现情感的分类和标识；S3、基于S2中所得的文本局部特征信息以及情感分类和识别信息，对文本的语义进行理解，得出文本语义理解结果和文本情感分析结果；S4、输入语音数据和视觉数据，对语音数据和视觉数据进行结构化处理，将语音模态和视觉模态下的特征转换为同模态特征；S5、建立基于语音、视觉模态数据的深度神经网络，将S4中结构化后的语音数据和视觉数据输入到深度神经网络中进行处理，并构建相应的情感分析通道；S6、与文本模态数据相对应的受试者的语音模态数据和视觉模态数据进行分析，结合S5中的处理方法，获得语音、视觉模态情感分析结果；S7、将S6中所得的语音、视觉模态情感分析结果与S3中所得的文本情感分析结果进行融合与分析，获得受试者的情感判断，进而输出情感类别判断结果。2.根据权利要求1所述的多模态信息处理视角下跨文化传播方法，其特征在于：所述S3中提到的文本语义理解基于关键词、篇章、话题三层文本语义网络，采用情景记忆和长期记忆相结合的文本语义表征方法。3.根据权利要求1所述的多模态信息处理视角下跨文化传播方法，其特征在于：针对S1‑S7中所提到的文本模态数据、语音模态数据以及视觉模态数据均设计有与之相对应的深度神经网络模型，多种深度网络相融合，形成多模态语言数据驱动下的深度神经网络模型设计。4.根据权利要求1‑3中任一所述的多模态信息处理视角下跨文化传播方法所提出的多模态信息处理视角下跨文化传播系统，其特征在于，包括有多模态信息处理系统，所述多模态信息处理系统包括有文本处理系统、语音处理系统和视觉处理系统；所述文本处理系统包括有文本数据输入模块，所述文本数据输入模块与文本序列识别模块相链接，所述文本序列识别模块与文本序列语义理解模块相链接，所述文本序列语义理解模块上链接有文本语义理解结果模块和文本情感分析模块；所述语音处理系统包括有语音数据输入模块，所述语音输入模块与语音数据结构化模块相链接；所述视觉处理系统包括有视觉数据输入模块，所述视觉输入模块与视觉数据结构化模块相链接。5.根据权利要求4所述的多模态信息处理视角下跨文化传播系统，其特征在于：所述语音数据结构化模块和视觉数据结构化模块均与语音、视觉模态数据深度神经网络模块相链接，所述语音、视觉模态数据深度神经网络模块上链接有语音、视觉模态情感分析模块。6.根据权利要求5所述的多模态信息处理视角下跨文化传播系统，其特征在于：所述文本情感分析模块和语音、视觉模态情感分析模块均链接在情感决策模块上，所述情感决策模块上还链接有情感类别输出模块。2CN113901829A说明书1/5页多模态信息处理视角下跨文化传播方法与系统技术领域[0001]本发明涉及信息处理技术领域，尤其涉及多模态信息处理视角下跨文化传播方法与系统。背景技术[0002]情感是人对客观事物是否满足自己的需要而产生的体验态度，是人们在沟通交流的过程中传递的重要信息。情感状态影响着信息表达的方式和信息传递的效果。情感通常以言语、文字、面部表情、肢体动作等为载体。传统的情感分析主要基于三种数据载体(文本、语音与视觉)进行分析，最为