面部表情识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106919884A(43)申请公布日2017.07.04(21)申请号201510983041.1(22)申请日2015.12.24(71)申请人北京汉王智远科技有限公司地址100193北京市海淀区东北旺西路8号5号楼3层356室(72)发明人黄磊蔡利君刘昌平张健(74)专利代理机构北京中强智尚知识产权代理有限公司11448代理人王书彪刘艳芬(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书11页附图6页(54)发明名称面部表情识别方法及装置(57)摘要本发明公开了一种面部表情识别方法及装置。该方法包括：对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状；将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状；获取所述刚体归一化形状中面部图像的人脸特征；根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果；对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。本发明不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良好的识别性能。CN106919884ACN106919884A权利要求书1/2页1.一种面部表情识别方法，其特征在于，包括：对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状；将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状；获取所述刚体归一化形状中所述面部图像的人脸特征；根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果；对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。2.根据权利要求1所述的方法，其特征在于，所述面部图像为样本面部图像或待识别面部图像。3.根据权利要求2所述的方法，其特征在于，所述预先获得的面部表情类别的平均形状由如下步骤获取：S1、在面部表情类别的所有面部图像的形状中选取一副面部图像形状作为所述面部表情类别的预估平均形状；S2、对所述面部表情类别中其余的面部图像形状与所述预估平均形状进行归一化，获得所述面部图像的归一化形状；S3、获取所述面部表情类别归一化后所有面部图像的平均形状；S4、将所述归一化后所有面部图像的平均形状与所述预估平均形状进行比对；若比对结果一致，将所述预估平均形状作为预先获得的面部表情类别的平均形状，并将所述面部图像的归一化形状作为该面部图像的刚体归一化形状；若比对结果不一致，则将S3获取的归一化后所有面部图像的平均形状作为新的预估平均形状，迭代执行S2-S4。4.根据权利要求3所述的方法，其特征在于，所述面部图像的人脸特征包括面部图像的形状特征和面部图像的纹理特征。5.根据权利要求4所述的方法，其特征在于，所述获取所述刚体归一化形状中所述面部图像的人脸特征包括：根据面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取面部图像的形状特征；将面部图像的原始纹理通过仿射扭曲填充到面部图像所属表情类别的平均形状中，获得面部图像的非刚体归一化表观；根据改进的基于分块的局部二值模式从面部图像的非刚体归一化表观中获取面部图像的纹理特征；将获取的面部图像的纹理特征填充到面部图像的形状特征中获得面部图像的人脸特征。6.根据权利要求4所述的方法，其特征在于，所述预先训练的表情分类器包括：当所述面部图像为样本面部图像时，对样本面部图像的人脸特征通过支持向量机算法进行训练获得预先训练的表情分类器。7.根据权利要求6所述的方法，其特征在于，所述根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果包括：当所述面部图像为待识别面部图像时，根据预先训练的表情分类器为待识别面部图像的人脸特征分配一个表情类别标签。2CN106919884A权利要求书2/2页8.根据权利要求7所述的方法，其特征在于，所述对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别包括：根据重构误差的加权投票策略对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。9.一种面部表情识别装置，其特征在于，包括：人脸检测单元，用于对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状；形状获取单元，用于将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状；特征获取单元，用于获取所述刚体归一化形状中所述面部图像的人脸特征；表情分类单元，用于根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果；表情判断单元，用于对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。3CN106919884A说