一种人脸识别中的攻击检测方法、装置以及设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115966008A(43)申请公布日2023.04.14(21)申请号202211724495.3(22)申请日2022.12.30(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人曹佳炯(74)专利代理机构北京君慧知识产权代理事务所(普通合伙)11716专利代理师肖鹏(51)Int.Cl.G06V40/16(2022.01)G06N3/0464(2023.01)G06N3/084(2023.01)G06V10/80(2022.01)G06T11/00(2006.01)权利要求书2页说明书10页附图4页(54)发明名称一种人脸识别中的攻击检测方法、装置以及设备(57)摘要本说明书实施例公开了一种人脸识别中的攻击检测方法、装置以及设备。通过获取包含部分遮挡图像的训练样本，对所述部分遮挡图像进行重建，生成重建后的图像；根据所述重建后的图像和所述训练样本的差异训练生成第一模型；根据所述第一模型，训练生成第二模型，其中，所述第二模型为与所述第一模型部分异构的轻量模型；获取包含人脸的待识别图片，使用所述第二模型进行攻击检测，从而实现基于层次图像重建和构模型蒸馏的轻量级的第二模型的训练。CN115966008ACN115966008A权利要求书1/2页1.一种人脸识别中的攻击检测方法，包括：获取包含部分遮挡图像的训练样本，对所述部分遮挡图像进行重建，生成重建后的图像；根据所述重建后的图像和所述训练样本的差异训练生成第一模型；根据所述第一模型，训练生成第二模型，其中，所述第二模型为与所述第一模型部分异构的轻量模型；获取包含人脸的待识别图片，使用所述第二模型进行攻击检测。2.如权利要求1所述的方法，其中，根据所述重建后的图像和所述训练样本的差异训练生成第一模型，包括：获取包含人脸的训练样本，提取所述训练样本的面部特征；根据所述面部特征进行分类，确定分类损失；根据所述重建后的图像和所述训练样本的差异，确定重建损失；提取所述重建后的图像所对应的重建特征，确定所述重建特征和所述面部特征的重建特征一致性损失；融合所述分类损失、重建损失和所述重建特征一致性损失训练生成第一模型。3.如权利要求1所述的方法，其中，所述第二模型为与所述第一模型部分异构的轻量模型，包括：所述第一模型中的面部特征的编码器为Transformer神经网络；相应的，所述第二模型中的面部特征的编码器为卷积神经网络CNN，且，所述第二模型为与所述第一模型的其它结构功能相同的轻量模型。4.如权利要求3所述的方法，其中，根据所述第一模型，训练生成第二模型，包括：确定所述第一模型对于所述训练样本的第一自注意力矩阵；采用所述卷积神经网络CNN获取训练样本的面部特征，根据所述面部特征生成对应的第二自注意力矩阵；根据所述第一自注意力矩阵和所述第二自注意力矩阵的差异确定异构蒸馏损失，根据所述异构蒸馏损失训练生成第二模型。5.如权利要求4所述的方法，其中，根据所述异构蒸馏损失训练生成第二模型，包括：确定所述第二模型对于所述训练样本的分类损失、重建损失和重建特征一致性损失；融合所述第二模型对于所述训练样本的分类损失、重建损失、重建特征一致性损失和所述异构蒸馏损失训练生成第二模型。6.如权利要求1所述的方法，其中，在使用所述第二模型进行攻击检测之前，所述方法还包括：对所述第二模型中所包含的任意层的参数进行量化评估，确定该层的量化性价比；根据所述量化性价比，训练生成量化后的第二模型。7.如权利要求6所述的方法，其中，根据所述量化性价比，训练生成量化后的第二模型，包括：根据所述第二模型中的任意层中所对应的量化性价比确定该层所对应的局部量化稀疏损失；根据所述第二模型中的所有层所对应的量化性价比确定模型所对应的全局量化稀疏2CN115966008A权利要求书2/2页损失；融合所述局部量化稀疏损失和全局量化稀疏损训练生成量化后的第二模型。8.如权利要求1所述的方法，其中，获取包含人脸的待识别图片，使用所述第二模型进行攻击检测，包括：获取包含人脸的待识别图片，采用所述第二模型提取得到所述待识别图片的面部特征；对所述待识别图片的面部特征进行攻击类别分类；或者，根据所述待识别图片中的面部特征进行图像重建，根据所述重建后的图像所对应的面部特征和所述待识别图片的面部特征的差异进行攻击检测。9.一种人脸识别中的攻击检测装置，包括：样本获取模块，获取包含部分遮挡图像的训练样本，对所述部分遮挡图像进行重建，生成重建后的图像；第一模型训练模块，根据所述重建后的图像和所述训练样本的差异训练生成第一模型；第二模型训练模块，根据所述第一模型，训练生成第二模型，其中，所述第二模型为与所述第一模型部分异