人脸识别的方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114581978A(43)申请公布日2022.06.03(21)申请号202210183813.3G06K9/62(2022.01)(22)申请日2022.02.28(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人王泽荣马晨光(74)专利代理机构北京市一法律师事务所11654专利代理师李琳娜刘荣娟(51)Int.Cl.G06V40/16(2022.01)G06V10/764(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06V10/774(2022.01)权利要求书2页说明书17页附图5页(54)发明名称人脸识别的方法和系统(57)摘要本说明书提供的人脸识别的方法和系统，基于特征融合模型将人脸图像的二维特征和三维特征进行融合，降低融合后的特征所占用的存储空间，在不增加总的存储空间的情况下增加数据库中存储的特征数量，提升用户覆盖率的同时降低设备成本。所述特征融合模型是基于深度图像提取的采集三维特征以及基于二维特征估计的估计三维特征共同训练得到的，从而提升模态缺失场景的特征融合性能，提升人脸识别效率和准确率。CN114581978ACN114581978A权利要求书1/2页1.一种人脸识别的方法，包括：获取目标人脸的目标图像，所述目标图像包括二维图像或所述二维图像以及深度图像；基于所述目标图像，确定所述目标人脸的二维特征和三维特征，所述三维特征包括采集三维特征和估计三维特征中的一种，所述采集三维特征包括基于所述深度图像获取的深度特征，所述估计三维特征包括基于所述二维特征估计得到的深度特征；基于预先训练好的特征融合模型对所述二维特征与所述三维特征进行特征融合，确定目标融合特征，所述特征融合模型是基于样本用户人脸的所述二维特征、所述采集三维特征以及所述估计三维特征训练得到的；以及基于所述目标融合特征识别所述目标人脸。2.如权利要求1所述的人脸识别的方法，其中，所述获取目标人脸的目标图像，包括：从客户端的图像采集设备获取所述目标图像，其中，所述图像采集设备包括二维图像采集设备或二维图像采集设备和深度图像采集设备，所述二维图像采集设备被配置为采集所述二维图像，所述深度图像采集设备被配置为采集所述深度图像。3.如权利要求1所述的人脸识别的方法，其中，所述基于所述目标图像，确定所述目标人脸的二维特征和三维特征，包括：对所述二维图像进行特征提取，确定所述二维特征；以及基于所述目标图像，确定所述三维特征，包括以下方式中的一种：确定所述目标图像中包括所述深度图像，对所述深度图像进行特征提取，确定所述采集三维特征；以及确定所述目标图像中不包括所述深度图像，将所述二维特征输入到预先训练好的三维特征估计模型中，以对所述二维特征进行计算，确定所述估计三维特征。4.如权利要求3所述的人脸识别的方法，其中，所述对所述二维图像进行特征提取，确定所述二维特征，包括：将所述二维图像输入到预先训练的二维特征提取模型中，以对所述二维图像进行特征提取，得到所述二维图像对应的所述二维特征，所述二维特征提取模型是基于多个不同的历史二维图像进行模型训练得到。5.如权利要求3所述的人脸识别的方法，其中，所述对所述深度图像进行特征提取，确定所述采集三维特征，包括：将所述深度图像输入到预先训练的三维特征提取模型中，以对所述深度图像进行特征提取，得到所述深度图像对应的所述采集三维特征，所述三维特征提取模型是基于多个不同的历史深度图像进行模型训练得到。6.如权利要求3所述的人脸识别的方法，其中，所述三维特征估计模型的训练方法包括：将所述样本用户的人脸的所述二维特征输入待训练的所述三维特征估计模型，得到对应的预测估计三维特征；获取针对所述样本用户的基于所述预测估计三维特征的三元组数据，所述三元组数据包括所述样本用户的所述预测估计三维特征、与所述样本用户具有相同用户标识的用户的所述采集三维特征以及与所述样本用户具有不同用户标识的用户的所述采集三维特征；以2CN114581978A权利要求书2/2页及基于所述三元组数据，以所述预测估计三维特征与具有相同用户标识的所述样本用户的所述采集三维特征之间的相似度最大化，以及所述预测估计三维特征与具有不同用户标识的所述样本用户的所述采集三维特征之间的相似度最小化为优化目标，对所述三维特征估计模型进行训练，得到训练后的所述三维特征估计模型。7.如权利要求1所述的人脸识别的方法，其中，所述特征融合模型的训练方法包括：将所述样本用户的人脸的所述二维特征和所述采集三维特征作为所述样本用户的第一样本数据，将所述样本用户的人脸的所述二维特征和所述估计三维特征作为所述样本用户的第二样