一种改进MobileNet模型的人脸表情识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111860046A(43)申请公布日2020.10.30(21)申请号201910345248.4(22)申请日2019.04.26(71)申请人四川大学地址610065四川省成都市武侯区一环路南一段24号(72)发明人何小海王韦祥周欣卿粼波王正勇吴小强吴晓红滕奇志(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书1页说明书4页附图1页(54)发明名称一种改进MobileNet模型的人脸表情识别方法(57)摘要本发明提出一种改进的MobileNet网络模型，在保留MobileNet轻量级整体结构的情况下，结合人脸表情识别的特点，进一步精简网络，使网络接收48*48的单通道灰度图片。为了减少网络计算量，保留了MobileNetV1模型中的深度可分离卷积层。同时为了解决在深度卷积层后引入非线性激活函数可能会导致信息丢失的问题，本发明在深度卷积层后直接舍弃非线性激活函数，采用MobileNetV2中提到的线性输出。网络模型使用了线性支持向量机进行人脸表情分类网络模型。最终本发明网络模型参数较MobileNetV1及MobileNetV2大大减少。本发明模型在CK+数据集上进行实验，在测试集上实现了较好的识别性能。CN111860046ACN111860046A权利要求书1/1页1.一种改进的MobileNet模型的人脸表情识别方法，其特征在于包括以下步骤：(1)在人脸表情识别前对输入人脸表情进行人脸检测，获得人脸矩形区域；(2)对(1)中检测的矩形区域裁剪至48*48*1的单通道灰度图；(3)将(2)中的图像送入改进后MobileNet模型进行表情特征提取；(4)根据(3)提取到的表情特征采用SVM分类器进行分类，得到人脸表情识别结果。2.根据权利要求1所述的方法，其特征在于步骤(2)中对步骤(1)中所得矩形区域进行裁剪，大小裁剪至48*48，然后将其保存为8位的单通道灰度图像。3.根据权利要求1所述的方法，其特征在于步骤(3)中使用改进的MobileNet模型进行表情特征提取，特征提取方法如下：对于一个输入尺寸为48*48*1的单通道人脸表情图像，首先通过一个卷积核大小为3*3，个数为32的标准二维卷积层进行标准卷积，卷积输出尺寸为24*24*32，然后将输出经过10个深度可分离卷积层进行特征提取，每个深度可分离卷积层由一个深度卷积层和一个点卷积层组成，所有深度卷积层的卷积核大小都为3*3，点卷积的卷积核大小都为1*1，深度卷积层的卷积核个数依次为：32,64,128,128,128,128,128,128,128,256；点卷积的卷积核个数依次为：64,128,128,128,128,128,128,128,256,256，然后将经过10个深度可分离卷积层后的输出送入平均池化层，最后将池化层的输出送入全连接层；其中只有标准二维卷积层、第2个深度卷积层、第9个深度卷积层的步长为2，其他所有层的步长均为1；而在除深度卷积层以外的所有的卷积层，卷积操作后都要经过一个归一化层和ReLU激活层来加速网络的收敛速度和增加提取非线性特征的能力，但在深度卷积层则只经过归一化层，不经过激活层；最终形成1*1*256的特征结果。4.根据权利要求1所述的方法，其特征在于步骤(4)中使用SVM分类器对步骤(3)中提取到的人脸表情特征进行分类。5.根据权利要求1所述的方法，其特征在于采用改进的MobileNet网络模型进行人脸表情特征提取，采用SVM分类器对提取到的人脸表情特征进行分类，减少了网络模型参数，提高了人脸表情识别准确率，增强了泛化能力。2CN111860046A说明书1/4页一种改进MobileNet模型的人脸表情识别方法技术领域[0001]本发明涉及计算机视觉领域中的静态人脸表情识别问题，尤其是涉及一种改进的MobileNet模型的人脸表情识别方法。背景技术[0002]人脸表情识别是计算机视觉领域一大热点。人脸表情作为人类情绪的直接表达，是非语言交际的一种形式。目前，人脸表情识别技术应用领域非常广，包括人机交互(HCI)、安保、机器人制造、医疗、通信、汽车等。在人机交互(HCI)、在线远程教育、互动游戏、智能交通等新兴应用中，自动面部表情识别系统是必要的。[0003]人脸表情识别的重点在于人脸表情特征的提取。对于人脸表情的提取，目前为止出现了两类特征提取方法。一种是基于传统人为设计的表情特征提取方法，如局部二值模式(LocalBinaryPattern,LBP)、定向梯度直方图(HistogramofOrientedGradients,HOG)、尺度不变特征变换(ScaleInv