面部表情识别方法、装置、设备及可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115205933A(43)申请公布日2022.10.18(21)申请号202210748378.4G06N3/04(2006.01)(22)申请日2022.06.29G06N3/08(2006.01)(71)申请人中国科学院深圳理工大学（筹）地址518000广东省深圳市南山区桃源街道学苑大道1068号申请人深圳先进技术研究院(72)发明人潘毅王安瑞陈维洋(74)专利代理机构深圳中一联合知识产权代理有限公司44414专利代理师刘雪稳(51)Int.Cl.G06V40/16(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)G06V10/774(2022.01)权利要求书2页说明书16页附图5页(54)发明名称面部表情识别方法、装置、设备及可读存储介质(57)摘要本申请适用于计算机视觉技术领域，提供了面部表情识别方法、装置、终端设备及可读存储介质，方法包括：确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像；根据目标人脸图像确定各个面部动作单元的动作强度；根据各个面部动作单元的强度信息和目标人脸图像，确定面部表情增强图像；将各个面部动作单元对应的区域图像和面部表情增强图像输入到预设的神经网络模型中处理，得到目标人脸图像的表情识别结果。该方法可以有效提高人脸图像的表情识别的准确度。CN115205933ACN115205933A权利要求书1/2页1.一种面部表情识别方法，其特征在于，包括：确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像；根据所述目标人脸图像确定各个所述面部动作单元的动作强度；根据各个所述面部动作单元的所述动作强度和所述目标人脸图像，确定面部表情增强图像；将各个所述面部动作单元对应的所述区域图像和所述面部表情增强图像输入到预设的神经网络模型中处理，得到所述目标人脸图像的表情识别结果。2.如权利要求1所述的方法，其特征在于，所述预设的神经网络模型包括局部特征提取模型、全局特征提取模型和分类模型，所述将各个所述面部动作单元对应的所述区域图像和所述面部表情增强图像输入到预设的神经网络模型中处理，得到所述目标人脸图像的表情识别结果；包括：将各个所述区域图像分别输入到所述局部特征提取模型中，得到各个所述区域图像对应的局部区域特征；将所述面部表情增强图像输入到所述全局特征提取模型中，得到所述目标人脸图像对应的全局表情特征；将各个所述局部区域特征与所述全局表情特征进行融合，得到融合表情特征；将所述融合表情特征输入到所述分类模型中，获得所述目标人脸图像的表情识别结果。3.如权利要求2所述的方法，其特征在于，所述局部特征提取模型包括特征提取子模型和特征降维子模型；所述将各个所述区域图像输入到所述局部特征提取模型中，得到各个所述面部动作单元对应的局部区域特征，包括：将各个所述区域图像输入到所述特征提取子模型，获得各个所述面部动作单元对应的初始局部区域特征；将各个所述初始局部区域特征输入到所述特征降维子模型进行特征降维，获得各个所述局部区域特征。4.如权利要求1所述的方法，其特征在于，所述确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像，包括：在所述目标人脸图像中识别各个所述面部动作单元的活动中心点；分别确定以各个所述面部动作单的所述活动中心点为中心的预设像素大小的图像，为各个所述面部动作单元所在的区域图像。5.如权利要求4所述的方法，其特征在于，所述在所述目标人脸图像中识别各个所述面部动作单元的活动中心点，包括：在目标人脸图像中识别各个所述面部动作单元对应的人脸关键点；分别根据各个所述面部动作单元对应的人脸关键点确定各个所述面部动作单元的所述活动中心点。6.如权利要求5所述的方法，其特征在于，所述分别根据各个所述面部动作单元对应的人脸关键点确定各个所述面部动作单元的所述活动中心点，包括：获取所述目标人脸图像中的所述人脸的两个内眼角之间的距离值；2CN115205933A权利要求书2/2页根据所述距离值和各个所述面部动作单元对应的人脸关键点，分别确定各个所述面部动作单元的活动中心点。7.如权利要求4至6任一项所述的方法，其特征在于，所述根据各个所述面部动作单元的所述动作强度和所述目标人脸图像，确定面部表情增强图像，包括：根据各个所述面部动作单元的动作强度和活动中心点，生成高斯热图；将所述高斯热图与所述目标人脸图像进行融合，获得所述面部表情增强图像。8.一种面部表情识别装置，其特征在于，包括：区域图像确定单元，用于确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像；动作强度确定单元，用于根据所述目标人脸图像确定各个所述面部动作单元的动作强度；表情增强单元，用于根据各个所述面部动作单元的所述动作强度和所述目标人