基于联合学习身份和情感信息的面部表情识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109359599A(43)申请公布日2019.02.19(21)申请号201811220643.1(22)申请日2018.10.19(71)申请人昆山杜克大学地址215300江苏省苏州市昆山市杜克大道8号申请人中山大学附属第三医院（中山大学肝脏病医院）(72)发明人李明邹小兵(74)专利代理机构佛山帮专知识产权代理事务所(普通合伙)44387代理人颜德昊(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书1页说明书5页附图5页(54)发明名称基于联合学习身份和情感信息的面部表情识别方法(57)摘要本发明公开了一种基于联合学习身份信息和情感信息的面部表情识别方法，包括人脸识别图像数据库和面部表情图像数据库，利用人脸识别图像数据库独立训练面部身份信息网络支路，训练完毕后将最后的全连接层去掉，通过神经网络可以提取得到输入图像的身份特征向量；利用面部表情图像数据库训练面部表情信息网络支路，完毕后把全连接层去掉，通过神经网络可以提取得到输入图像的情感特征向量；将身份特征向量和情感特征向量串联在一起得到串联面部特征表达；将融合身份信息和面部信息的串联面部表达特征馈送给全连接层，后续训练仅使用面部表情图像数据库对合并网络进行联合学习和优化。本发明提升面部表情识别方法对于受试者个体间自身差异的鲁棒性。CN109359599ACN109359599A权利要求书1/1页1.一种基于联合学习身份信息和情感信息的面部表情识别方法，其特征在于，包括以下步骤：使用人脸识别图像数据库和面部表情图像数据库来联合训练神经网络和优化神经网络；所述人脸识别图像数据库用于独立训练和优化面部身份信息网络支路，训练完毕后将最后的人脸身份输出层去掉，只提取得到输入图像对应的身份特征向量；所述面部表情图像数据库用于独立训练和优化面部表情信息网络支路，训练完毕后把最后的面部表情输出层去掉，只提取得到输入图像对应的情感特征向量；将身份特征向量和情感特征向量串联在一起得到串联面部特征表达；最后将融合了身份信息和面部信息的串联面部表达特征馈送给随后的面部表情输出层；在后续网络训练过程中，仅使用面部表情图像数据库对合并网络进行联合学习和优化，并最终预测面部表情识别结果。2.根据权利要求1所述的基于联合学习身份信息和情感信息的面部表情识别方法，由于网络结构和训练数据的不同，所述身份特征向量和情感特征向量通过批量归一化进行规范化处理，再将这两个特征串联在一起形成串联面部表达特征。2CN109359599A说明书1/5页基于联合学习身份和情感信息的面部表情识别方法技术领域[0001]本发明涉及计算机视觉和情感计算领域，更具体地，涉及一种基于联合学习身份信息和情感信息的面部表情识别方法。背景技术[0002]随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。人脸表情是最直接、最有效的情感识别模式。它有很多人机交互方面的应用。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。面部表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。[0003]面部表情识别是一项旨在从静止图像或者视频序列中识别出人物面部表达出来的情感属性(例如中立，悲伤，蔑视，快乐，惊讶，愤怒，恐惧，厌恶等)的任务。虽然近年来有许多工作都集中在基于视频或图像序列的面部表情识别任务，但基于静止图像的面部表情识别仍然是一个具有挑战性的问题，本发明要处理的研究对象也是针对静止图像而言。[0004]纵观整个面部表情识别的研究历史，它是跟随人脸识别的发展而发展的，人脸识别领域比较好的方法会同样适用于表情识别。早期的面部识别任务研究中，许多工作都是基于手工设计的特征进行的。这些方法通常包括前端的特征提取和后端的分类器训练两个分离的阶段。在特征提取阶段，人们利用专家先验知识设计了许多有用的特征，如局部二值模式，Gabor小波特征，尺度不变换特征和高斯脸等等。在此基础上，采用有监督的分类器，如支持向量机，前馈神经网络和超限学习机等进行后续建模。[0005]近年来，随着深度学习技术的发展，基于深度神经网络的方法在面部相关识别任务中取得了优异的性能。在面部身份识别任务中，深度卷积神经网络(CovolutionalNeuralNetwork,CNN)表现出了优于传统手工设计特征方法的性能。在面部表情识别中，CNN模型也已被广泛应用。但是，在面部表情识别任务中，缺乏大规模标记的训练数据，不一致和不可靠的情绪标签和主体间的可变性等因素都限制