多模态情感识别参透人心.docx

多模态情感识别参透人心随着语音技术和计算机视觉技术的成熟以语音和人脸表情为主要信息的多模态情感识别技术也得到了进一步的发展。情感识别解析副语言现象人机交互技术的最终目标是为人类提供一个自然和谐的与机器进行交流的途径它包括:能够听懂人在说什么、看见人正在做什么、理解人的情感、给出适当的反馈等等。现在的计算机技术水平已经可以实现一部分功能但是对于一个自然和谐的人机交互界面是不够的。人类进行交流的时候除了正常的语言和动作之外还伴随着很多副语言（Para-language）现象。而副语言现象在很大程度上帮助我们去理解表层信息后面的含义。副语言几乎时时刻刻都出现在我们平常的交流中它包括声学现象比如说话时候的气喘、笑声等等也包括所谓的身势语比如说话时候的脸部表情、肢体动作等等。关于副语言现象的研究早在上世纪中期就开始了;副语言现象的研究对于和谐自然的人机交互有着重要的意义。如果我们能够透过副语言现象本身综合分析对方的说话内容或者动作背后的含义就必然能够大大提高人机交互的自然度。多模态情感识别技术就是一种试图分析副语言现象的技术。它试图通过语音、人脸表情、肢体动作认识到当前对象的情感或者态度。而语音和人脸表情作为两个最能反映说话人当前情感状态的模态在情感识别技术中受到极大的关注。计算机能够识别什么情感呢？这是一个非常复杂的问题。我们在日常生活中表现出来的各种情感往往只有细微的差异而这些差异连人类本身都很难准确地感知到。因此要让计算机来识别这些情感几乎是不可能的。目前来说计算机只能识别一些基本的情感状态这些情感状态有比较明确的定义而且也有比较明显的差异。但是对基本情感状态的分类众说纷纭。汤姆金斯在1962年首先提出人类有八种基本的情感状态分别是害怕、生气、痛苦、高兴、厌恶、惊讶、关心和羞愧。在随后的几十年里不同的研究者提出了许多不同的关于基本情感种类的定义。这是由于他们的入手点不一样或者研究的对象不同导致的。尽管对于基本情感的种类尚没有一个公认的定义但这并不影响我们利用计算机去识别情感。我们完全可以根据具体的应用领域确定我们所关心的情感状态分类。目前使用较为广泛的分类方法一般都是将人类的情感分为六个（高兴、难过、害怕、惊讶、生气和中性）或者八个（害怕、生气、痛苦、高兴、厌恶、惊讶、关心和羞愧）基本的情感状态。情感识别技术试图通过分析语音和脸部表情的信息来推断当前对象的情感状态或者态度从而指导理解模块正确的理解语音识别和视觉分析的结果帮助整个系统进行深层次的内容理解和人机交互。下文将分别介绍通过语音、人脸表情和两者结合进行情感识别的方法。多模态情感识别参透人心识别情感的过程就是一个透过现象看本质的过程。这里的现象就是指人类表达自己的各种途径如脸部表情、语音、手势和肢体语言等等而本质就是这些途径试图表现的内心情感。语音和脸部表情作为两种最为主要的表征情感方式得到了广泛的研究。语音情感识别技术人在说话的时候如果带有强烈的情绪就会刺激大脑中相应的神经从而改变人说话的方式。简单说就是听上去和平时说话不一样。通过提取语音信号中的各种声学参数就能从某种程度上反映当前说话的方式从而提供了推断出感情状态的可能性。一般来说我们通过语速、基频、音强、音质和清晰度等参数来反映语音的情感状态。附表针对五种情感状态列出了这些声学参数的较为平均的表现。尽管跟情感状态密切相关的语音特征并不多但是描述这些特征的语音参数却非常多。为了进行情感识别选用的语音参数少到几个多到几百个。中科院自动化所利用分类回归树和时延神经网络技术对语音参数在情感识别中的重要性做了研究指导了语音情感识别技术中语音参数的选择。他们认为基频的均值、最大值、范围能量的均值时长的均值等具有较好的区分情感状态的能力。在此研究基础上中科院自动化所利用语音情感识别技术开发了情感B超、情侦宝(http://)技术可以在实时通信环境下通过采集对话双方的语音信号给出对话双方的相悦度和相关度的评价。脸部表情情感识别技术人为了表现情感通常都会做出一些细微的脸部动作目前计算机视觉技术的发展使得跟踪人脸肌肉细微的运动成为可能。一般来说通过脸部表情识别情感有两种方法:1.通过静态图片;2.通过连续的视频流。利用静态图片的方法快速简单它主要利用人脸的纹理信息的不同来表征表情。但是它可靠性不强容易受到光照等周围环境的影响。通过连续视频流的方法判断情感较为可靠它通过对人脸特征点运动的跟踪（比如眼角、嘴角等）来反映不同类型的肌肉运动。通过采用某种编码的方式比如Ekman的人脸动作编码系统（FACS）将特征点的位置和运动与编码系统中定义的基本动作联系