对抗样本的生成方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111737691A(43)申请公布日2020.10.02(21)申请号202010725498.3(22)申请日2020.07.24(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人傅驰林黄启印周俊张晓露(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人孙欣欣周良玉(51)Int.Cl.G06F21/55(2013.01)G06K9/00(2006.01)G06K9/62(2006.01)权利要求书3页说明书9页附图3页(54)发明名称对抗样本的生成方法和装置(57)摘要本说明书实施例提供一种对抗样本的生成方法和装置，方法包括：获取本轮迭代有待强化的当前对抗样本；在目标损失函数减小的方向，对当前对抗样本进行第一次数的预设几何变形，得到变形图像；对变形图像执行第二次数的逐像素更新，得到第一对抗样本；对当前对抗样本执行第三次数的逐像素更新，得到第二对抗样本；确定第一对抗样本和第二对抗样本中对应损失值较小的对抗样本作为更新对抗样本；当满足停止迭代条件时，将更新对抗样本作为最终对抗样本；当不满足停止迭代条件时，基于更新对抗样本进行下一轮迭代。能够使得生成的对抗样本具有更强的攻击性，从而有针对性的防御。CN111737691ACN111737691A权利要求书1/3页1.一种对抗样本的生成方法，所述方法包括：获取本轮迭代有待强化的当前对抗样本，所述当前对抗样本是对目标图像识别模型进行攻击的图像；在目标损失函数减小的方向，对所述当前对抗样本进行第一次数的预设几何变形，得到变形图像；对所述变形图像执行第二次数的逐像素更新，得到第一对抗样本；其中，所述逐像素更新以减小所述目标损失函数为目标，所述目标损失函数根据所述目标图像识别模型所识别的对抗样本与目标图像之间的相似度而确定；对所述当前对抗样本执行第三次数的所述逐像素更新，得到第二对抗样本；确定所述第一对抗样本对应的所述目标损失函数的第一损失值，以及所述第二对抗样本对应的所述目标损失函数的第二损失值；确定所述第一对抗样本和所述第二对抗样本中对应损失值较小的对抗样本作为更新对抗样本；当满足停止迭代条件时，将所述更新对抗样本作为最终对抗样本；当不满足所述停止迭代条件时，基于所述更新对抗样本进行下一轮迭代。2.如权利要求1所述的方法，其中，所述本轮迭代是首轮迭代，所述当前对抗样本是攻击者的原始图像；或者，所述本轮迭代不是首轮迭代，所述当前对抗样本是上一轮迭代产生的更新对抗样本。3.如权利要求1所述的方法，其中，所述预设几何变形，包括：检测所述当前对抗样本中的初始关键点，得到所述初始关键点的第一坐标；在减小所述目标损失函数的方向对所述初始关键点求梯度；将所述初始关键点沿梯度方向移动第一步长，得到期望的几何变形后的初始关键点的第二坐标；根据所述初始关键点的第一坐标和第二坐标，求解出变换矩阵；根据所述变换矩阵对所述当前对抗样本进行变换。4.如权利要求3所述的方法，其中，所述当前对抗样本为人脸图像，所述初始关键点为刻画眉毛、眼睛、鼻子、嘴或人脸轮廓的关键点。5.如权利要求1所述的方法，其中，所述逐像素更新，包括：在减小所述目标损失函数的方向对图像的各像素点求梯度；根据第二步长和所述梯度，在满足约束条件下更新所述各像素点。6.如权利要求1所述的方法，其中，所述攻击为无目标攻击，所述目标图像为攻击者的原始图像，所述目标损失函数与所述相似度正相关；或者，所述攻击为有目标攻击，所述目标图像不为攻击者的原始图像，所述目标损失函数与所述相似度负相关。7.如权利要求1所述的方法，其中，所述第一对抗样本和所述第二对抗样本中添加了高斯噪声。8.如权利要求1所述的方法，其中，所述停止迭代条件包括：当前迭代次数达到预设次数；或者，所述第一损失值和所述第二损失值中较小的损失值小于预设数值。9.如权利要求1所述的方法，其中，所述方法还包括：利用所述最终对抗样本训练检测模型，所述检测模型用于将输入图像分类为正常样本和对抗样本。10.如权利要求9所述的方法，其中，所述方法还包括：2CN111737691A权利要求书2/3页将待识别图像输入所述训练后的检测模型；当所述检测模型输出所述待识别图像为正常样本时，将所述待识别图像输入所述目标图像识别模型，由所述目标图像识别模型进行图像识别。11.如权利要求10所述的方法，其中，所述方法还包括：当所述检测模型输出所述待识别图像为对抗样本时，人工进行图像识别。12.一种对抗样本的生成装置，所述装置包括：获取单元，用于获取本轮迭代有待强化的当前对抗样本，所述当前对抗样本是对目标图像识别模型进行攻击的图像；第一分支单元，用于在