基于多运动特征融合的微表情识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113920571A(43)申请公布日2022.01.11(21)申请号202111310561.8G06V10/774(2022.01)(22)申请日2021.11.06G06V10/62(2022.01)G06V10/44(2022.01)(71)申请人北京九州安华信息安全技术有限公G06K9/62(2022.01)司G06T7/269(2017.01)地址100089北京市海淀区翠湖路8号俱乐G06N3/04(2006.01)部一层117G06N3/08(2006.01)(72)发明人李军平(74)专利代理机构北京维正专利代理有限公司11508代理人谢明晖(51)Int.Cl.G06V40/16(2022.01)G06V10/82(2022.01)G06V10/80(2022.01)G06V10/764(2022.01)权利要求书2页说明书7页附图2页(54)发明名称基于多运动特征融合的微表情识别方法及装置(57)摘要本发明实施例提供了一种基于多运动特征融合的微表情识别方法及装置、电子设备和存储介质，所述微表情识别方法，通过将目标人物的面部表情图像序列进行预处理；通过多路卷积神经网络模型分别对预处理过的图像进行特征提取，并利用长短期记忆网络模型提取时序特征进行进行分类训练得到人脸识别模型进行目标图像中的人脸微表情识别。采用卷积神经网络和长短期记忆网络模型结合的方式，通过前面的卷积网络层来提取微表情的静态特征，省去了传统机器学习方法，需要人工提取特征的过程，简化了特征提取的工作，能够准确的识别微表情。CN113920571ACN113920571A权利要求书1/2页1.一种基于多运动特征融合的微表情识别方法，其特征在于，所述微表情识别方法包括：将目标人物的面部表情图像序列进行预处理；通过多路卷积神经网络模型分别对预处理过的图像进行特征提取，并利用长短期记忆网络模型提取时序特征进行进行分类训练得到人脸识别模型进行目标图像中的人脸微表情识别。2.根据权利要求1所述的微表情识别方法，其特征在于，将目标人物的面部表情图像序列进行预处理包括，对所述图像序列进行人脸检测、人脸校准、面部区域裁剪、得到只包含面部区域的图像；对每一张图片进行以下四种变换：旋转、水平平移、垂直平移、水平翻转；将所述图像序列进行插值，保证每段面部表情图像序列帧数相同。3.根据权利要求1所述的微表情识别方法，其特征在于，将所述图像序列进行插值，保证每段面部表情图像序列帧数相同包括，根据预置的序列化规则对面部表情图像处理得到对应的人脸图像序列；根据预置的表情分类模型对所述人脸图像序列中的每一灰度图像进行分类得到与每一所述灰度图像对应的表情类别；根据预置的轮廓提取模型得到每一所述表情类别的降噪表情图像；根据所述表情分类模型及预置的插值卷积规则对所述降噪表情图像及所述人脸图像序列的多张连续灰度图像进行插值以保证每段面部表情图像序列帧数相同。4.根据权利要求1所述的微表情识别方法，其特征在于，通过多路卷积神经网络分别对预处理过的图像进行特征提取，并利用长短期记忆网络提取时序特征进行识别包括，通过多路卷积神经网络分别将人脸关键点特征图、光流特征图、光学应变图作为三条支路的输入数据，对图像特征进行提取得到静态卷积特征；长短期记忆网络将提取到的所述静态卷积特征进行整合，得到所述静态卷积特征在时域上的信息，进而对所述时域上的信息进行分类训练得到人脸识别模型；基于所述人脸微表情识别模型对目标图像进行人脸识别，得到目标图像中的人脸微表情。5.根据权利要求4所述的微表情识别方法，其特征在于，在所有的卷积层之后，连接了一个包含256个神经元的全连接层，长短期记忆网络为单层的长短期记忆网络，输出维度为256，全连接层输出维度为128；将基于多分类的交叉熵损失作为目标函数，用Adam优化器对长短期记忆网络进行训练，学习率和衰减参数分别设为10‑4和10‑6。6.根据权利要求4所述的微表情识别方法，其特征在于，人脸关键点特征图是基于人脸关键点变化生成的运动特征图，利用Dlib视觉库确定面部68个关键特征点，特征点主要分布在眉毛，眼睛，鼻子，嘴巴以及面部轮廓区域。7.根据权利要求4所述的微表情识别方法，其特征在于，对光流特征图的提取是计算对所述预处理过的图像每一帧图像所对应的整体光流场，光流编码是以矢量符号表征图像运动或流动的方向和强度，光流的水平h和垂直分量v大小定义为2CN113920571A权利要求书2/2页式中：dx和dy表示待估计的像素分别沿x和y维度的运动变化；dt表示时间的变化，光流的水平和垂直分量流程大小构成的光流强度大小m，对h、ν及m进行通道维度上的拼接，形成三通道的光流特征图。8.一种基于多运动