对抗攻击的检测方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115880530A(43)申请公布日2023.03.31(21)申请号202211537039.8(22)申请日2022.12.02(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人曹佳炯(74)专利代理机构北京留理知识产权代理事务所(普通合伙)16049专利代理师李哲(51)Int.Cl.G06V10/764(2022.01)G06V10/74(2022.01)G06V10/80(2022.01)G06F21/55(2013.01)G06F21/32(2013.01)权利要求书5页说明书25页附图3页(54)发明名称对抗攻击的检测方法和系统(57)摘要本说明书提供的对抗攻击的检测方法和系统，在获取目标用户的生物特征的多个模态的原始图像，并对多个模态的原始图像进行扰动，得到扰动图像后，将原始图像和扰动图像输入至多模态检测模型，以得到特征比对信息，该特征对比信息包括原始图像相对于扰动图像的图像特征变化的信息，以及基于特征比对信息，确定目标用户的对抗攻击检测结果，并输出所述对抗攻击结果；该方案可以提升对抗攻击的检测准确率。CN115880530ACN115880530A权利要求书1/5页1.一种对抗攻击的检测方法，包括：获取目标用户的生物特征的多个模态的原始图像，并对所述多个模态的原始图像进行扰动，得到扰动图像；将所述原始图像和所述扰动图像输入至多模态检测模型，以得到特征比对信息，所述特征对比信息包括所述原始图像相对于所述扰动图像的图像特征变化的信息；以及基于所述特征比对信息，确定所述目标用户的对抗攻击检测结果，并输出所述对抗攻击结果。2.根据权利要求1所述的对抗攻击的检测方法，其中，所述生物特征包括人脸、指纹、掌纹或虹膜中的至少一种。3.根据权利要求1所述的对抗攻击的检测方法，其中，所述多个模态包括色彩图像、红外图像、热成像图像或深度图像中的至少两种。4.根据权利要求1所述的对抗攻击的检测方法，其中，所述多模态检测模型包括多模态一致性网络和所述多个模态中每一模态分别对应的单模态检测网络；以及所述将所述原始图像和所述扰动图像输入至多模态检测模型，以得到特征比对信息，包括：采用所述每一模态分别对应的单模态检测网络对对应模态的所述原始图像和所述扰动图像进行特征提取，得到所述多模态中每一模态对应的特征图谱，以及采用所述多模态一致性网络将多个所述特征图谱中的图像特征进行比对，以得到所述特征比对信息。5.根据权利要求4所述的对抗攻击的检测方法，其中，所述多模态一致性网络包括特征提取子网络、特征关系一致性子网络和波动一致性子网络；以及所述采用所述多模态一致性网络将多个所述特征图谱中的图像特征进行比对，以得到所述特征比对信息，包括：采用所述特征提取子网络在所述特征图谱中提取出对应模态的图像特征，采用所述特征关系一致性子网络确定所述多个模态之间的所述图像特征之间的相似度，以得到特征关系值，所述特征关系值包括所述原始图像相对于所述扰动图像的多个模态之间的图像特征相似度的变化值，采用所述波动一致性子网络确定同一模态下所述图像特征之间的特征波动值，所述特征波动值包括所述同一模态下所述原始图像相对于所述扰动图像的图像特征之间波动的值，以及将所述特征关系值和所述特征波动值作为所述特征比对信息。6.根据权利要求5所述的对抗攻击的检测方法，其中，所述采用所述特征关系一致性子网络确定所述多个模态之间的所述图像特征之间的相似度，以得到特征关系值，包括：采用所述特征关系一致性子网络分别确定不同模态的所述图像特征之间的相似度，得到特征相似度集合；在所述相似度集合中选取出所述原始图像对应的原始特征相似度和所述扰动图像对应的扰动特征相似度；以及将所述原始特征相似度与所述扰动特征相似度进行对比，以得到所述特征关系值。7.根据权利要求5所述的对抗攻击的检测方法，其中，所述采用所述波动一致性子网络2CN115880530A权利要求书2/5页确定同一模态下所述图像特征之间的特征波动值，包括：采用所述波动一致性子网络在所述图像特征中选取出同一模态下所述原始图像对应的原始图像特征和所述扰动图像对应的扰动图像特征；获取所述原始图像特征和所述扰动图像特征之间的第一特征差值，并获取所述扰动图像特征之间的第二特征差值；以及基于所述第一特征差值和第二特征差值，确定同一模态下所述图像特征之间的特征波动值。8.根据权利要求5所述的对抗攻击的检测方法，其中，所述基于所述特征比对信息，确定所述目标用户的对抗攻击检测结果，包括：在所述特征关系值大于预设关系阈值或所述特征波动值大于预设波动阈值时，确定所述目标用户为对抗攻击用户，并将所述对抗攻击用户作为对抗攻击检测结