一种对抗攻击和生成对抗样本的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113822443A(43)申请公布日2021.12.21(21)申请号202111364482.5(22)申请日2021.11.17(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人范洺源陈岑王力(74)专利代理机构成都七星天知识产权代理有限公司51253代理人袁春晓(51)Int.Cl.G06N20/00(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)G06K9/62(2006.01)权利要求书3页说明书13页附图6页(54)发明名称一种对抗攻击和生成对抗样本的方法(57)摘要本说明书涉及人工智能领域，特别涉及一种对抗攻击和生成对抗样本的方法。其中，生成对抗样本的方法包括：基于初始样本及其标签、以及待攻击模型，进行一轮或多轮迭代，以构造对抗样本；其中的一轮迭代包括：获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；利用待攻击模型处理所述待调整样本，得到第一输出；基于所述第一输出和所述标签的差异、以及扰动系数，确定扰动数据；将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本；其中，所述扰动系数能够被调整，以使得对抗样本与初始样本间的差异逼近但不超过预设的扰动边界值。CN113822443ACN113822443A权利要求书1/3页1.一种生成对抗样本的方法，其包括：基于初始样本及其标签、以及待攻击模型，进行一轮或多轮迭代，以构造对抗样本；其中的一轮迭代包括：获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；利用待攻击模型处理所述待调整样本，得到第一输出；基于所述第一输出和所述标签的差异、以及扰动系数，确定扰动数据；将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本；其中，所述扰动系数能够被调整，以使得对抗样本与初始样本间的差异逼近但不超过预设的扰动边界值。2.如权利要求1所述的方法，所述其中的一轮迭代还包括：当当前轮的对抗样本与初始样本差异超过预设的扰动边界值时，则减小所述扰动系数，并重新获得当前轮的对抗样本。3.如权利要求2所述的方法，所述减小所述扰动系数包括通过衰减因子对所述扰动系数进行衰减，所述衰减因子与迭代轮次负相关。4.如权利要求1所述的方法，所述初始样本为原始样本，或者基于原始样本以及随机噪声确定；所述原始样本为文本数据、音频数据或图像数据。5.如权利要求1所述的方法，所述待攻击模型为目标模型或目标模型的替代模型。6.如权利要求1所述的方法，所述其中的一轮迭代还包括：随机屏蔽所述待攻击模型中的若干模型参数，并将屏蔽处理后的模型作为当前轮的待攻击模型。7.一种生成对抗样本的系统，其包括：对抗样本生成模块，用于基于初始样本及其标签、以及待攻击模型，进行一轮或多轮迭代，以构造对抗样本；在其中的一轮迭代中，所述对抗样本生成模块进一步用于：获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；利用待攻击模型处理所述待调整样本，得到第一输出；基于所述第一输出和所述标签的差异、以及扰动系数，确定扰动数据；将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本；其中，所述扰动系数能够被调整，以使得对抗样本与初始样本间的差异逼近但不超过预设的扰动边界值。8.一种生成对抗样本的装置，包括处理器以及存储介质，所述存储介质用于存储计算机指令，所述处理器用于执行所述计算机指令中的至少一部分以实现权利要求1~6中任一种生成对抗样本的方法。9.一种对抗攻击方法，其包括：获取目标模型的替代模型；将所述替代模型作为待攻击模型，通过如权利要求1~6中任一项所述的方法获得对抗样本；利用所述对抗样本攻击、测试或优化所述目标模型。2CN113822443A权利要求书2/3页10.如权利要求9所述的方法，所述获取目标模型的替代模型包括：获取多个第一训练样本和多个第二训练样本；利用所述目标模型处理第一训练样本，得到对应于第一训练样本的输出，并将其作为第一训练样本的标签；利用第一训练样本及其标签对初始替代模型进行一阶段训练；利用经过一阶段训练的替代模型处理第二训练样本，得到第二训练样本的预测结果；调整第二训练样本的预测结果，以减小第二训练样本的预测结果的熵，进而得到第二训练样本的预测标签；基于第一训练样本及其标签获取第一训练数据集，基于第二训练样本及其预测标签获取第二训练数据集；利用所述第一训练数据集和所述第二训练数据集对经过一阶段训练的替代模型进行二阶段训练，以获得所述目标模型的替代模型。11.