基于深度学习的仿生机器孔雀图像识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108038455A(43)申请公布日2018.05.15(21)申请号201711374581.5(22)申请日2017.12.19(71)申请人中国科学院自动化研究所地址100190北京市海淀区中关村东路95号(72)发明人李成荣胡耀聪周世久徐玉龙李名扬(74)专利代理机构北京八月瓜知识产权代理有限公司11543代理人马东瑞(51)Int.Cl.G06K9/00(2006.01)G06N3/00(2006.01)G06N3/04(2006.01)权利要求书2页说明书5页附图3页(54)发明名称基于深度学习的仿生机器孔雀图像识别方法(57)摘要本发明公开了基于深度学习的仿生机器孔雀的图像识别方法，包括以下步骤：采集公开的人脸检测数据库作为训练和验证的图像数据集；设计基于卷积神经网络的深度学习架构，在深度学习架构内实现人脸检测功能；采集仿生机器孔雀摄像头所拍摄到的现场图像对训练好的卷积神经网网进行微调，实现室内复杂环境下的人脸检测功能；得到经验参数以确定观众的着装定位，并统计各种颜色所占的相应比重；本发明实现娱乐仿生机器人在复杂环境下准确高效的人脸检测和颜色识别，鲁棒性好；且对现场图像对训练好的深度学习架构进行参数微调；最后实现对于摄像头捕捉到的现场图像进行实时人脸检测和着装识别；可以应用于科技馆、酒店、商场、供游客参观、娱乐。CN108038455ACN108038455A权利要求书1/2页1.基于深度学习的仿生机器孔雀的图像识别方法，其特征在于，包括以下步骤：S1、采集公开的人脸检测数据库作为训练和验证的图像数据集；S2、设计基于卷积神经网络的深度学习架构，在深度学习架构内实现人脸检测功能；S3、采集仿生机器孔雀摄像头所拍摄到的现场图像对训练好的卷积神经网网进行微调；S4、根据步骤S3中微调后的深度学习架构进行测试，实现室内复杂环境下的人脸检测功能；S5、根据步骤S4得到的人脸框定位和摄像头距离观众的位置关系，得到经验参数以确定观众的着装定位，并统计各种颜色所占的相应比重。2.如权利要求1所述的图像识别方法，其特征在于，所述步骤S1具体包括以下步骤：S11、人脸检测数据库，选取公开Wider_face数据集和Celeba_face数据集作为人脸检测的训练样本；将图像数据集中原始图像归一化到一个统一的尺寸；Wider_face数据集和Celeba_face数据集中提供了大量的人脸检测数据，并在图中提供了人脸框的位置信息；S12、随机的对人脸图像选取边框，并计算选取边框与真实边框的重复度IOU；S13、将人脸检测数据分为三类，分别是人脸正样本、人脸负样本、人脸部分样本，其占比重为1：3：1；S14、将训练样本生成文件路径，并做好与之对应的标签，标签内容包括正、负样本标签以及随机生成边框和真实边框的偏移值。3.如权利要求2所述的图像识别方法，其特征在于，所述步骤S12中，IOU＞0.65为人脸正样本，IOU＜0.4为人脸负样本；在0.4≤IOU≤0.65之间为人脸部分样本。4.如权利要求1所述的图像识别方法，其特征在于，所述深度学习架构具体如下：深度学习架构由三个卷积神经网络级联组成，三个卷积神经网络分别为第一卷积神经网络PNet，第二卷积神经网络RNet和第三卷积神经网络ONet；第一卷积神经网络PNet在训练阶段的输入尺寸为12*12*3的图像块，第一卷积神经网络PNet为三层全卷积网络，不包含全连接层；第二卷积神经网络RNet输入尺寸为24*24*3的图像块，为四层卷积网路包含三个卷积层和一个全连接层；第三卷积神经网络ONet的输入尺寸48*48*3的图像块；为四层卷积网路包含三个卷积层和一个全连接层；首先将训练样本送入第一卷积神经网络PNet，其输出分别为样本的类别，即人脸正、负样本和人脸定位的预测值；第二卷积神经网络RNet用来细化PNet网络的输出结果；第三卷积神经网络ONet用来细化RNet网络的输出结果，输出分别为样本的类别，人脸定位的预测值和人脸关键点的预测值。5.如权利要求4所述的图像识别方法，其特征在于，所述步骤S3具体包括以下步骤：S31、选取仿生机器孔雀现场所收集到的包括观众和不包括观众的多张图像分为训练样本和测试样本；选取训练样本中的图像取随机框获得人脸正样本、人脸负样本、和人脸部分样本；2CN108038455A权利要求书2/2页S32、将确定好的训练样本和标签送入深度学习架构，对于深度学习架构中三个卷积神经网络的参数进行微调。6.如权利要求5所述的图像识别方法，其特征在于，所述步骤S4具体包括以下步骤：S41、将测试样本送入第一卷积神经网络PNet，获取候选人脸框以及每个人脸对应的四个点坐标；S42、将第一卷积神经网络P