一种人脸识别模型的训练方法、人脸识别方法及硬件.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111291740A(43)申请公布日2020.06.16(21)申请号202010388083.1(22)申请日2020.05.09(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人王开业(74)专利代理机构北京国昊天诚知识产权代理有限公司11315代理人许振新(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书3页说明书10页附图2页(54)发明名称一种人脸识别模型的训练方法、人脸识别方法及硬件(57)摘要本说明书实施例提供一种人脸识别模型的训练方法、人脸识别方法及硬件。训练方法包括：获取样本对象对应至少两种模态图像的人脸特征数据。对样本对象对应至少两种模态图像的人脸特征数据进行特征融合，得到样本对象对应的人脸融合特征数据。以样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以样本对象对应的识别分类标签作为人脸识别模型的输出，对人脸识别模型进行训练。人脸识别方法包括：获取待识别对象对应至少两种模态图像的人脸特征数据。对待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到待识别对象的人脸融合特征数据。将待识别对象的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果。CN111291740ACN111291740A权利要求书1/3页1.一种人脸识别模型的训练方法，包括：获取样本对象对应至少两种模态图像的人脸特征数据；对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据；以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本对象对应的识别分类标签作为人脸识别模型的输出，对所述人脸识别模型进行训练。2.根据权利要求1所述的方法，对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据，包括：将所述样本对象对应所述至少两种模态图像的人脸特征数据输入至特征融合模型，得到所述样本对象对应的人脸融合特征数据，其中，特征融合模型包括：卷积层，对获所述样本对象对应所述至少两种模态图像的人脸特征数据进行卷积处理，得到卷积层输出特征数据；池化层，基于最大值池化算法和/或均值池化算法，对所述卷积层输出特征集进行池化处理，得到池化层输出特征数据；连接层，将池化层输出特征数据进行组合、降维，得到所述样本对象对应的人脸融合特征数据。3.根据权利要求1所述的方法，获取样本对象对应至少两种模态图像的人脸特征数据，包括：按照样本对象对应至少两种模态图像中的目标模态图像的特征维度，对所述样本对象的目标模态图像进行特征提取，得到所述样本对象对应目标模态图像的人脸特征数据，其中，所述目标模态图像的特征维度是基于所述目标模态图像的特征提取模型训练后的解释数据所确定得到，所述目标模态图像的特征提取模型是基于其他样本对象对应目标模态图像的人脸特征数据和所述其他样本对象对应的识别分类标签进行训练。4.根据权利要求3所述的方法，所述解释数据包括所述目标模态图像的特征提取模型中的各个特征向量的权重值，所述目标模态图像的特征维度是基于所述目标模态图像的特征提取模型中权重值达到预设阈值的特征向量所确定得到。5.根据权利要求1-3任一项所述的方法，所述至少两种模态图像包括：近红外光人脸图像、可见彩色光人脸图像和深度人脸图像中至少一者。6.一种人脸识别方法，包括：获取待识别对象对应至少两种模态图像的人脸特征数据；对所述待识别对象对应至少两种模态图像的人脸特征数据进行特征融合，得到所述待识别对象对应的人脸融合特征数据；将所述待识别对象对应的人脸融合特征数据输入至人脸识别模型，得到待识别对象对应的识别结果，其中，所述人脸识别模型是基于样本对象对应的人脸融合特征数据和所述样本对象对应的识别分类标签训练得到的，所述样本对象对应的人脸融合特征数据是由所述样本对象对应所述至少两种模态图像的人脸特征数据融合得到的。2CN111291740A权利要求书2/3页7.根据权利要求6所述的方法，获取待识别对象对应至少两种模态图像的人脸特征数据，包括：启动终端设备的摄像功能，以至少两种模态图像采集方式对所述待识别对象进行图像采集，得到所述待识别对象对应至少两种模态图像的人脸特征数据。8.一种人脸识别模型的训练装置，包括：获取模块，获取样本对象对应至少两种模态图像的人脸特征数据；融合模块，对所述样本对象对应所述至少两种模态图像的人脸特征数据进行特征融合，得到所述样本对象对应的人脸融合特征数据；训练模块，以所述样本对象对应的人脸融合特征数据作为人脸识别模型的输入，以所述样本