一种基于深度学习的人脸多区域融合表情识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109344693A(43)申请公布日2019.02.15(21)申请号201810912957.1(22)申请日2018.08.13(71)申请人华南理工大学地址510640广东省广州市天河区五山路381号(72)发明人王珂尧常天海余卫宇(74)专利代理机构广州市华学知识产权代理有限公司44245代理人李斌(51)Int.Cl.G06K9/00(2006.01)G06K9/40(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书8页附图5页(54)发明名称一种基于深度学习的人脸多区域融合表情识别方法(57)摘要本发明公开了一种基于深度学习的人脸多区域融合表情识别方法，包括下述步骤：用检测模型检测出人脸位置；用关键点模型得到人脸关键点坐标；先根据眼睛部分关键点做眼睛对齐；然后根据整体人脸关键点坐标做人脸对齐，并通过仿射变换裁剪人脸区域；按照一定的比例裁剪图像的眼睛和嘴巴区域。卷积神经网络分为一个主干网络和两个支干网络，在最后一层卷积层进行特征融合，最后通过分类器得到表情分类结果。本发明利用先验信息，除整个人脸之外还将眼睛和嘴巴区域作为网络的输入，通过模型融合使网络既能学习到人脸表情的整体语义特征也能学习到局部区域特征，简化了人脸表情识别的难度，减少外部噪声，有鲁棒性强，准确率高，算法复杂度低等优点。CN109344693ACN109344693A权利要求书1/3页1.一种基于深度学习的人脸多区域融合表情识别方法，其特征在于，所述的识别方法包括下列步骤：S1、通过人工标注得到包含人脸表情数据集的RGB图像，将其分为训练集和测试集；S2、从训练集中得到一张包含人脸的RGB图像，通过检测模型对人脸进行检测，得到人脸的大致位置区域；S3、根据人脸的大致位置区域，通过人脸关键点检测模型对人脸关键点进行检测得到人脸的关键点坐标值；S4、根据人脸的关键点坐标值对目标人脸进行人脸对齐，同时通过仿射变换截取仅包含人脸的第一图像区域并调整到相同尺寸，人脸关键点坐标也根据仿射变换矩阵重新映射到新的坐标；S5、根据包含人脸的第一图像区域及坐标映射变换后的人脸关键点坐标，截取眼睛区域和嘴巴区域，并将这两个区域调整到与第一图像区域相同尺寸；S6、将包含人脸的第一图像区域、眼睛区域和嘴巴区域，分别进行图像归一化处理；S7、将归一化处理后的图像进行随机数据增强处理；S8、将随机数据增强处理后的第一图像区域、眼睛区域和嘴巴区域的图像作为卷积神经网络的输入，对卷积神经网络进行训练，其中，所述的卷积神经网络包括一个主干网络和两个枝干网络构成，所述的的第一图像区域作为主干网络的输入，所述的眼睛区域和嘴巴区域分别作为两个枝干网络输入；S9、取出测试集中的图像，重复步骤S2-步骤S8，得到对齐的包含人脸的第一图像区域、眼睛区域和嘴巴区域分别作为卷积神经网络中一个主干网络和两个枝干网络的输入，得到最终表情分类结果。2.根据权利要求1所述的一种基于深度学习的人脸多区域融合表情识别方法，其特征在于，所述的步骤S1中人工标注的方法为根据人脸肌肉的变化分为7类基本表情，生气、厌恶、恐惧、高兴、悲伤、惊讶和中性，分别用数字0-6表示各类表情标签，对人脸表情数据集进行标签标注。3.根据权利要求1所述的一种基于深度学习的人脸多区域融合表情识别方法，其特征在于，所述的步骤S2中检测模型为opencv自带的人脸检测模型，用于检测人脸位置，并在人脸区域画出一个boundingbox标注出人脸大致区域。4.根据权利要求1所述的一种基于深度学习的人脸多区域融合表情识别方法，其特征在于，所述的步骤S3中人脸关键点检测模型包含在dlib库中，调用dlib库加载官方模型，输入已检测到人脸的图像，得到人脸关键点坐标，其中，所述的人脸关键点坐标包含68个坐标点，分别为(x1,y1)…(x68,y68)。5.根据权利要求4所述的一种基于深度学习的人脸多区域融合表情识别方法，其特征在于，所述的步骤S4中人脸对齐过程如下：S41、根据68个人脸关键点坐标中的第36和第45的横坐标，做眼睛对齐，将第36和第45的坐标进行连线，求该连线与水平线的夹角θ，通过仿射变换的方式对图片进行整体旋转，若所求θ为负，则将图片顺时针旋转θ，若θ为正将图片逆时针旋转θ，使得旋转后的人脸关键点坐标第36和第45的坐标连线水平，同时将68个人脸关键点坐标也根据仿射变换公式更新为旋转后的人脸关键点坐标；2CN109344693A权利要求书2/3页S42、根据步骤S41旋转后更新的68个人脸关键点坐标求出一个平均坐标，该平均坐标作为整个人脸的中心坐标c(x,y)，计算公式为：其中，xi为关键点的横坐标，yi为