融合SURF特征和卷积神经网络的小样本人脸表情识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113553911A(43)申请公布日2021.10.26(21)申请号202110709271.4(22)申请日2021.06.25(71)申请人复旦大学地址200433上海市杨浦区邯郸路220号(72)发明人蒋林华杨凌张冠华曾新华庞成鑫宋梁(74)专利代理机构上海德昭知识产权代理有限公司31204代理人王伟珍(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书4页附图3页(54)发明名称融合SURF特征和卷积神经网络的小样本人脸表情识别方法(57)摘要本发明属于人脸识别技术领域，提供了融合SURF特征和卷积神经网络的小样本人脸表情识别方法，通过使用SURF特征和卷积神经网络的协同工作，首先通过卷积神经网络中的dropout层不同节点的保留概率筛选出相对合适的卷积神经网络，之后使用SURF算法提取出表情图像的特征，提高小数据的性能，然后采用简单平均的方法对模型进行融合，从而减少误差、避免过拟合，实现使用少量样本就能训练模型且进一步提高了人脸表情识别的准确率。所以，本发明的融合SURF特征和卷积神经网络的小样本人脸表情识别方法降低了在人脸表情识别过程中训练样本的成本，解决了CNN需要大量数据训练的问题，提高了小样本下表情识别的准确率。CN113553911ACN113553911A权利要求书1/2页1.一种融合SURF特征和卷积神经网络的小样本人脸表情识别方法，其特征在于，包括如下步骤：步骤S1，将待测样本预处理形成预处理向量后输入预先训练好的人脸表情识别模型中；所述人脸表情识别模型由输入层、CNN网络模型、surf模型、softmax层以及结果处理层组成；步骤S2，将所述预处理向量通过所述输入层输入所述CNN网络模型得到第一特征向量，所述CNN网络模型由三个子模型以及一个第一平均层组成，所述平均层用于将所述预处理向量分别输入三个所述子模型中处理得到的结果进行平均从而形成所述第一特征向量；步骤S3，将所述预处理向量通过所述输入层输入所述surf模型得到第二特征向量，所述surf模型由三个surf子模型以及一个第二平均层组成，所述第二平均层进行平均从而形成所述第二特征模向量；步骤S4，将所述第一特征向量和所述第二特征向量分别输入所述softmax层得到相对应的第一概率值和第二概率值；步骤S5，将所述第一概率值和所述第二概率值输入所述结果处理层进行平均处理，得到预测概率值；步骤S6，将所述预测概率值最大的类别作为所述待测样本被预测出的类别。2.根据权利要求1所述的融合SURF特征和卷积神经网络的小样本人脸表情识别方法，其特征在于：其中，所述子模型具有依次连接的多个卷积层、池化层以及dropout层，三个所述子模型的所述dropout层分别设有不同的dropout值。3.根据权利要求2所述的融合SURF特征和卷积神经网络的小样本人脸表情识别方法，其特征在于：其中，所述卷积层的数量为两个。4.根据权利要求2所述的融合SURF特征和卷积神经网络的小样本人脸表情识别方法，其特征在于：其中，所述卷积层为3×3的过滤器。5.根据权利要求1所述的融合SURF特征和卷积神经网络的小样本人脸表情识别方法，其特征在于：其中，所述输入层是像素为48×48的单通道灰度图像。6.根据权利要求1所述的融合SURF特征和卷积神经网络的小样本人脸表情识别方法，其特征在于：其中，对所述待测样本的预处理是指将所述待测样本的图像大小统一为48×48。7.根据权利要求1所述的融合SURF特征和卷积神经网络的小样本人脸表情识别方法，其特征在于：其中，所述人脸表情识别模型的训练过程如下：步骤A1，将训练样本中的人脸表情图像统一大小，并进行归一化处理得到零均值和单位方差的向量，作为预处理向量；步骤A2，构建初始模型；步骤A3，将所述预处理向量输入所述初始模型进行训练直到达到预定条件，从而得到2CN113553911A权利要求书2/2页训练后的所述初始模型作为人脸表情识别模型。3CN113553911A说明书1/4页融合SURF特征和卷积神经网络的小样本人脸表情识别方法技术领域[0001]本发明属于人脸识别技术领域，具体涉及一种融合SURF特征和卷积神经网络的小样本人脸表情识别方法。背景技术[0002]人脸表情识别技术被广泛应用于智能医疗、智能交通、公共安全和智能教育等领域。它有助于创造出更多能够识别人类情绪能力的智能机器人，也能够进一步用于检测疲劳驾驶和互动游戏开发。[0003]传统的人脸表情识别方法大多基于手工制作的特征，采用预处理—特征提取—分类的方法。而目前的人脸表情识