一种基于多通道并行卷积神经网络的实时表情识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107491726A(43)申请公布日2017.12.19(21)申请号201710537921.5(22)申请日2017.07.04(71)申请人重庆邮电大学地址400065重庆市南岸区南山街道崇文路2号(72)发明人蔡林沁周锴徐宏博陈富丽虞继敏(74)专利代理机构重庆市恒信知识产权代理有限公司50102代理人刘小红(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书3页说明书7页附图2页(54)发明名称一种基于多通道并行卷积神经网络的实时表情识别方法(57)摘要本发明请求保护一种基于多通道并行卷积神经网络的实时表情识别方法，包括以下步骤：从面部表情数据集中提取包含RGB与Depth图像的表情数据；对彩色图像进行局部二值化及提取面部关键点预处理，对深度图像进行梯度化预处理，将预处理后的图像分为训练集与测试集两部分并构建多通道并行卷积神经网络；将训练集中预处理后的图像送入网络中训练，获得学习了面部表情轮廓、立体分布及关键点特征的深度通道、lbp通道及关键点通道识别模型；将三种识别模型的分类结果采用最大置信融合，得到最终表情识别模型并构建实时表情识别系统。本发明增强了识别网络的鲁棒性，有效提升了实时表情识别系统的性能。CN107491726ACN107491726A权利要求书1/3页1.一种基于多通道并行卷积神经网络的实时表情识别方法，其特征在于，包括：多通道并行卷积神经网络模型的构建步骤，以及实时表情识别两个步骤：所述多通道并行卷积神经网络模型的构建步骤包括：步骤1：从面部表情数据集中提取人脸表情图像，所述人脸表情图像包含彩色图像和深度图像；步骤2：对人脸表情图像的彩色图像和深度图像进行预处理操作，将预处理后的深度图像与彩色图像分别分为训练集和测试集两部分并构建多通道并行卷积神经网络，所述多通道并行卷积神经网络包括第一路卷积神经网络、第二路卷积神经网络及第三路卷积神经网络；步骤3：进行深度学习得到学习了面部表情立体分布特征的深度通道识别模型、学习了面部表情轮廓特征的LBP通道识别模型、学习了面部表情关键点分布的关键点通道识别模型；所述实时表情识别的步骤包括：步骤4：将深度通道、LBP通道与关键点通道识别模型的分类结果采用最大置信相融合，获取最终表情识别模型；步骤5：采用最终表情识别模型构建实时表情识别系统，实时获取用户图片进行表情分类。2.根据权利要求1所述的基于多通道并行卷积神经网络的实时表情识别方法，其特征在于，所述步骤3具体包括步骤：将训练集中经过梯度化预处理的深度图像数据送入第一路卷积神经网络中进行训练以提取面部立体分布特征，得到学习了面部表情立体分布特征的深度通道识别模型；将训练集中经过局部二值化预处理的彩色图像数据送入第二路卷积神经网络中进行训练以提取面部轮廓特征，得到学习了面部表情轮廓特征的LBP通道识别模型；将训练集中经过提取面部关键点的彩色图像数据送入第三路卷积神经网络中进行训练以提取面部关键点分布特征，得到学习了面部表情关键点分布的关键点通道识别模型。3.根据权利要求1所述的基于多通道并行卷积神经网络的实时表情识别方法，其特征在于，所述步骤2面部表情数据集图像的预处理操作，包括：将面部表情数据集中的原始像素为256×256的所有表情以中心点为基准裁剪128×128图像区域，面部表情主要由面部肌肉轮廓组合而成，对彩色图像采用局部二值化方法来提取面部轮廓特征，采用提取关键点分布的方式获取面部几何分布特征，对深度图像采用去除背景及梯度化处理。4.根据权利要求3所述的基于多通道并行卷积神经网络的实时表情识别方法，其特征在于，所述步骤2的第一路卷积神经网络、第二路卷积神经网络及第三路卷积神经网络分别为：深度图像通道、LBP图像通道与关键点通道，分别对不同输入下的面部表情特征进行提取，每个单路卷积神经网络的结构相同，包括5个卷积层，3个全连接层，最后为softmax层，具体如下：第1层为卷积一层，有96个卷积核，大小为7×7×96；第2层为最大池化层，大小为3×3；第3层为卷积二层，有256个卷积核，大小为5×5×256；第4层为最大池化层，大小为2×2；第5层为卷积三层，有512个卷积核，大小为3×3×512；第6层为卷积四层，有512个卷积核，大2CN107491726A权利要求书2/3页小为3×3×512；第7层为卷积五层，有512个卷积核，大小为3×3×512；第8层为最大池化层，大小为3×3；后面三层为全连接层，分别为FC6，FC7，FC8。5.根据权利要求4所述的基于多通道并行卷积神经网络的实时表情识别方法，其特征在