对抗攻击的检测方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937584A(43)申请公布日2023.04.07(21)申请号202211537038.3(22)申请日2022.12.02(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人曹佳炯(74)专利代理机构北京留理知识产权代理事务所(普通合伙)16049专利代理师李哲王哲(51)Int.Cl.G06V10/764(2022.01)G06V20/40(2022.01)G06V10/80(2022.01)G06F21/55(2013.01)G06F21/31(2013.01)权利要求书4页说明书20页附图2页(54)发明名称对抗攻击的检测方法和系统(57)摘要本说明书提供的对抗攻击的检测方法和系统，在获取目标用户在多种颜色的光照下的面部视频后，采用对抗攻击检测模型对面部视频的多帧面部图像帧中每一面部图像帧的像素进行材质分类，得到每一像素的像素材质类别，以及基于像素材质类别，确定目标用户的对抗攻击检测结果，并输出对抗攻击检测结果；该方案可以提升对抗攻击的检测精度。CN115937584ACN115937584A权利要求书1/4页1.一种对抗攻击的检测方法，包括：获取目标用户在多种颜色的光照下的面部视频，所述面部视频包括多帧面部图像帧；采用对抗攻击检测模型对所述多帧面部图像帧中每一面部图像帧的像素进行材质分类，得到每一像素的像素材质类别；以及基于所述像素材质类别，确定所述目标用户的对抗攻击检测结果，并输出所述对抗攻击检测结果。2.根据权利要求1所述的对抗攻击的检测方法，其中，所述获取目标用户在多种颜色的光照下的面部视频，包括：在预设颜色集合中选取出多种颜色，并确定所述多种颜色对应的目标发光顺序；基于所述目标发光顺序和预设显示时间，显示所述多种颜色对应的颜色光；以及采集所述目标用户的面部在所述颜色光反射下的面部视频。3.根据权利要求2所述的对抗攻击的检测方法，其中，所述多种颜色包括红色、蓝色、黄色或绿色中的至少两种。4.根据权利要求2所述的对抗攻击的检测方法，其中，所述多种颜色中每一颜色对应的颜色光单独发光，且持续发光时间超过预设时间阈值。5.根据权利要求2所述的对抗攻击的检测方法，其中，所述采集所述目标用户的面部在所述颜色光反射下的面部视频，包括：对采集到的所述目标用户的实时面部视频中预设数量的连续视频帧进行面部检测；在所述连续视频帧中未检测到所述目标用户的面部时，停止显示所述多种颜色对应的颜色光，并显示提示信息，以便所述目标用户基于所述提示信息调整采集位置；以及返回执行所述在预设颜色集合中选取出多种颜色的步骤，直至所述连续视频帧中检测到所述目标用户的面部时为止，得到所述目标用户的面部在所述颜色光反射下的面部视频。6.根据权利要求1所述的对抗攻击的检测方法，其中，所述对抗攻击检测模型包括像素材质分类网络；以及所述采用对抗攻击检测模型对所述多帧面部图像帧中每一面部图像帧的像素进行材质分类，得到每一像素的像素材质类别，包括：采用所述像素材质网络对所述多帧面部图像帧中每一面部图像帧进行特征提取，得到所述每一面部图像帧对应的特征图谱，基于所述特征图谱，对对应的面部图像帧的所述每一像素进行材质分类，得到所述每一像素的像素材质分类概率，以及基于所述像素材质分类概率，确定所述每一像素的像素材质类别。7.根据权利要求6所述的对抗攻击的检测方法，其中，所述像素材质分类网络的训练过程包括以下步骤：获取面部图像样本，所述面部图像样本包括标注材质类别的面部图像；采用预设像素材质分类网络预测所述面部图像样本中的预测区域边界和每一像素的预测材质类别，所述预测区域边界为预测所述面部图像样本中活体区域和攻击区域之间的边界；以及基于所述预测区域边界、预测材质类别和标注材质类别，确定所述面部图像样本的目2CN115937584A权利要求书2/4页标分类损失信息，并基于所述目标分类损失信息对所述预设像素材质分类网络进行收敛，得到所述像素材质分类网络。8.根据权利要求7所述的对抗攻击的检测方法，其中，所述预设像素材质分类网络包括特征图谱编码子网络、像素材质分类子网络和边界感知子网络；以及所述采用预设像素材质分类网络预测所述面部图像样本中的预测区域边界和每一像素的预测材质类别，包括：采用所述特征图谱编码子网络对所述面部图像样本进行特征提取，得到样本特征图谱，基于所述样本特征图谱，采用所述像素材质分类子网络对所述面部图像样本的每一像素进行材质分类，得到所述面部图像样本的每一像素的预测材质类别，以及基于所述样本特征图谱，采用所述边界感知子网络在所述面部图像样本中识别出所述活体区域和所述攻击区域之间的边界，得到所述预测区域边界。9.根据权利