一种生成对抗样本的方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113822442A(43)申请公布日2021.12.21(21)申请号202111364468.5(22)申请日2021.11.17(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人范洺源陈岑王力(74)专利代理机构成都七星天知识产权代理有限公司51253代理人袁春晓(51)Int.Cl.G06N20/00(2019.01)权利要求书2页说明书10页附图5页(54)发明名称一种生成对抗样本的方法及系统(57)摘要本说明书涉及人工智能领域，特别涉及一种生成对抗样本的方法及系统。该方法包括：基于初始样本和目标模型的多个替代模型，进行一轮或多轮迭代，以构造对抗样本；其中的一轮迭代包括：获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；基于待调整样本和多个替代模型，确定各替代模型的脆弱方向；所述脆弱方向与替代模型对待调整样本的预测结果与所述初始样本的标签之间的差异相对待调整样本的梯度信息相关；基于各替代模型的脆弱方向确定扰动数据；将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本。CN113822442ACN113822442A权利要求书1/2页1.一种生成对抗样本的方法，其包括：基于初始样本和目标模型的多个替代模型，进行一轮或多轮迭代，以构造对抗样本；其中的一轮迭代包括：获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；基于待调整样本和多个替代模型，确定各替代模型的脆弱方向；所述脆弱方向与替代模型对待调整样本的预测结果与所述初始样本的标签之间的差异相对待调整样本的梯度信息相关；基于各替代模型的脆弱方向确定扰动数据；将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本。2.如权利要求1所述的方法，所述替代模型与目标模型的任务类型相同。3.如权利要求2所述的方法，其中：所述替代模型中的至少部分模型结构与所述目标模型相同；和/或，所述替代模型用于处理的样本类型与所述目标模型相同；所述样本类型为文本数据、音频数据或图像数据。4.如权利要求1所述的方法，所述基于待调整样本和多个替代模型，确定各替代模型的脆弱方向，包括对于任一替代模型：将所述待调整样本输入至所述替代模型，以获取所述替代模型对所述待调整样本的预测结果与所述标签之间的差异相对待调整样本的梯度信息；将所述梯度信息作为该替代模型的脆弱方向。5.如权利要求1所述的方法，所述基于待调整样本和多个替代模型，确定各替代模型的脆弱方向，包括对于任一替代模型：将所述待调整样本输入至所述替代模型，以获取所述替代模型对所述待调整样本的预测结果与所述标签之间的差异相对待调整样本的梯度信息；基于所述梯度信息以及所述待调整样本获得初始对抗样本；将所述初始对抗样本输入至所述替代模型，以获取所述替代模型对所述初始对抗样本的预测结果与所述标签之间的差异相对初始对抗样本的梯度信息；将所述替代模型对所述初始对抗样本的预测结果与所述标签之间的差异相对初始对抗样本的梯度信息作为该替代模型的脆弱方向。6.如权利要求1所述的方法，所述扰动数据反映各替代模型的脆弱方向的均值。7.如权利要求1所述的方法，其中的一轮迭代还包括：将所述当前轮的扰动数据限制在扰动变化范围内。8.一种生成对抗样本的系统，用于基于初始样本和目标模型的多个替代模型，进行一轮或多轮迭代，以构造对抗样本；其包括获取模块、脆弱方向确定模块、扰动数据确定模块以及生成模块；在其中的一轮迭代中：所述获取模块用于获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；所述脆弱方向确定模块用于基于待调整样本和多个替代模型，确定各替代模型的脆弱方向；所述脆弱方向与替代模型对待调整样本的预测结果与所述初始样本的标签之间的差2CN113822442A权利要求书2/2页异相对待调整样本的梯度信息相关；所述扰动数据确定模块用于基于各替代模型的脆弱方向确定扰动数据；所述生成模块用于将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本。9.一种生成对抗样本的装置，包括处理器以及存储质，所述存储介质用于存储计算机指令，所述处理器用于执行所述计算机指令中的至少一部分以实现权利要求1~7中任一种生成对抗样本的方法。10.一种对抗攻击方法，其包括：通过如权利要求1~7中任一项所述的方法获得对抗样本；利用所述对抗样本攻击、测试或优化目标模型。11.一种对抗攻击系统，其包括：对抗样本获取模块，用于通过如权利要求1~7中任一项所述的方法获得对抗样本；对抗攻击模块，用于利用所