基于迁移学习技术的面部表情识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108537168A(43)申请公布日2018.09.14(21)申请号201810309575.X(22)申请日2018.04.09(71)申请人云南大学地址650091云南省昆明市五华区翠湖北路2号(72)发明人杨云赵航(74)专利代理机构北京科亿知识产权代理事务所(普通合伙)11350代理人汤东凤(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书9页附图5页(54)发明名称基于迁移学习技术的面部表情识别方法(57)摘要本发明公开了基于迁移学习技术的面部表情识别方法，实时面部数据采集，面部图像识别并截取、灰度化处理、人脸面部LBP特征提取，比较平均脸确定每个测试样本属于的领域，查看模型库是否存在对应的迁移模型，如存在，则将图片文件放入模型中预测，否则继续执行；采用对源域样本采样的迁移学习方法进行模型训练和预测，在目标领域样本不足的情况下，通过目标领域的少量样本来指导源领域样本采样，如判定对了相关数据样本，则对新的样本进行标记，使用被采样保留的源领域数据和目标领域数据一起参与下一轮的监督式机器学习模型的训练，而新训练得到的模型可用来预测将来的目标领域的面部表情类别。真实环境中跨领域面部表情分类时识别准确率高。CN108537168ACN108537168A权利要求书1/2页1.基于迁移学习技术的面部表情识别方法，其特征在于，按照以下步骤进行：步骤1，实时面部数据采集，进行面部图像的识别并截取面部图像、灰度化处理、人脸面部LBP特征提取，最后比较平均脸确定每个测试样本属于的领域，查看模型库是否存在对应的迁移模型，如果存在，则直接将图片文件放入模型中预测，否则执行步骤2；步骤2，采用对源域样本采样的迁移学习方法进行模型训练和预测，在目标领域样本不足的情况下，通过目标领域的少量样本来指导源领域样本采样，如果判定对了相关的数据样本，则对新的样本进行标记，使用被采样保留的源领域数据和目标领域数据一起参与下一轮的监督式机器学习模型的训练，而新训练得到的模型可以用来预测将来的目标领域的面部表情类别。2.根据权利要求1所述的基于迁移学习技术的面部表情识别方法，其特征在于，所述步骤1中，使用Java环境作为运行载体。3.根据权利要求1所述的基于迁移学习技术的面部表情识别方法，其特征在于，所述步骤1中，使用OpenCV的人脸识别函数CascadeClassifier提取人脸图片。4.根据权利要求1所述的基于迁移学习技术的面部表情识别方法，其特征在于，所述步骤1中，人脸面部LBP特征提取的过程是采用如下公式：其中(xc,yc)为中心像素点的坐标，LBP(xc,yc)为中心像素点的LBP特征，p为邻域的第p个像素，ip为邻域像素的灰度值，ic为中心像素的灰度值，s(x)为符号函数；然后对截取到的面部图片进行分块处理，对每个分块建立LBP直方图特征；所有分块的向量链接为一个样本向量。5.根据权利要求1所述的基于迁移学习技术的面部表情识别方法，其特征在于，所述步骤1中，比较平均脸确定每个测试样本属于的领域按照以下步骤进行：比较平均脸按照以下公式进行：其中表示第Dk个领域的第i个脸部灰度张量值，faceaverage(Dk)表示第Dk个领域的面部灰度张量的平均值；当新的图像样本image加入模型之后，会将该图像和多个目标领域的平均脸进行对比，返回该实测样本属于的领域，用d表示返回的目标领域，该过程形式化表示为通过上式得到实测样本所在的领域。6.根据权利要求1所述的基于迁移学习技术的面部表情识别方法，其特征在于，所述步2CN108537168A权利要求书2/2页骤2中，监督式机器学习算法采用支持向量机，在实现方法上使用libsvm函数库。7.根据权利要求1所述的基于迁移学习技术的面部表情识别方法，其特征在于，所述步骤2中，迁移学习方法是：如果源域中的实例被预测对了，那么它的权值应该被增大；否则变小；而目标域中的数据样本如果被预测错了，则需要增大，下一次训练需要被着重对待。3CN108537168A说明书1/9页基于迁移学习技术的面部表情识别方法技术领域[0001]本发明属于面部数据处理技术领域，特别是涉及一种基于迁移学习技术的面部表情识别方法。背景技术[0002]迁移学习是当前机器学习领域中一个非常活跃的研究方向，它的提出是为了解决源领域和目标领域数据的概率分布不同、或者源领域和目标领域相关但是任务不同的一些机器学习问题。但是迁移学习也存在一些短板，其大多是在学术界被广泛研究，产业界对迁移学习的应用研究相对较少。[0003]面部表情识别是人工智能以及模式识别学科中的一个重要研究领域。其目的是通过特征工程和模式识别方法识别