对抗样本的生成方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112200257A(43)申请公布日2021.01.08(21)申请号202011112696.9(22)申请日2020.10.16(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人张晓露傅驰林周俊黄启印李慧琛徐晓骏(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈婧玥周良玉(51)Int.Cl.G06K9/62(2006.01)G06N20/00(2019.01)G06F16/903(2019.01)权利要求书3页说明书9页附图3页(54)发明名称对抗样本的生成方法及装置(57)摘要本说明书实施例提供一种对抗样本的生成方法，所述对抗样本对应m维样本向量，用于攻击特定模型；该方法包括：确定m维空间的n维子空间所对应的m*n维投影矩阵，再基于该m*n维投影矩阵，对当前对抗样本进行多轮迭代更新，其中任一轮迭代更新包括：先从该n维子空间中随机采样b个高斯向量；接着，利用该m*n维投影矩阵，将所述b个高斯向量映射回该m维空间，得到b个干扰向量；再将所述b个干扰向量分别添加至当前对抗样本对应的样本向量，得到b个查询样本，并查询该所述b个查询样本是否对所述特定模型攻击成功；再基于b个干扰向量和对应的b个查询结果，估计样本梯度向量，并利用该样本梯度向量，更新上述当前对抗样本。CN112200257ACN112200257A权利要求书1/3页1.一种对抗样本的生成方法，所述对抗样本对应m维样本向量，用于攻击特定模型；所述方法包括：确定m维空间的n维子空间所对应的m*n维投影矩阵；基于所述m*n维投影矩阵，对当前对抗样本进行多轮迭代更新，其中任一轮迭代更新包括：从所述n维子空间中随机采样b个高斯向量；利用所述m*n维投影矩阵，将所述b个高斯向量映射回所述m维空间，得到b个干扰向量；将所述b个干扰向量分别添加至所述当前对抗样本对应的样本向量，得到b个查询样本；查询所述b个查询样本是否对所述特定模型攻击成功；基于所述b个干扰向量和对应的b个查询结果，估计样本梯度向量；利用所述样本梯度向量，更新所述当前对抗样本。2.根据权利要求1所述的方法，其中，所述对抗样本为图片、音频或文本，所述特定模型为图片处理模型、音频处理模型或文本处理模型。3.根据权利要求1所述的方法，其中，确定m维空间的n维子空间所对应的m*n维投影矩阵，包括：利用正常样本集和预设的损失函数，训练与所述特定模型执行相同预测任务的替代模型；基于所述损失函数和训练后的替代模型的参数，计算k个正常样本对应的k个m维样本梯度向量；利用主元分析PCA法，基于所述k个m维样本梯度向量，生成n个m维主元向量，构成所述m*n维投影矩阵。4.根据权利要求1所述的方法，其中，确定m维空间的n维子空间所对应的m*n维投影矩阵，包括：对正常样本进行离散余弦变换DCT，得到DCT变换对应的变换系数矩阵；基于所述变换系数矩阵，确定所述m*n维投影矩阵。5.根据权利要求1所述的方法，其中，确定m维空间的n维子空间所对应的m*n维投影矩阵，包括：从所述n维子空间中随机采样s个n维高斯向量；对所述s个n维高斯向量进行线性插值处理，得到s个m维插值向量；基于所述s个n维高斯向量和s个m维插值向量之间的映射关系，计算所述m*n维投影矩阵。6.根据权利要求1所述的方法，其中，基于所述b个干扰向量和对应的b个查询结果，估计样本梯度向量，包括：基于所述b个查询结果，对所述b个干扰向量进行有方向的叠加，得到所述样本梯度向量。7.根据权利要求6所述的方法，其中，基于所述b个查询结果，对所述b个干扰向量进行有方向的叠加，包括：针对所述b个干扰向量中任意的干扰向量，若其对应的查询结果指示查询样本成功攻2CN112200257A权利要求书2/3页击所述特定模型，则对其进行正向叠加。8.根据权利要求1所述的方法，其中，利用所述样本梯度向量，更新所述当前对抗样本，包括：将所述当前对抗样本沿着所述样本梯度向量的方向移动；利用移动后得到的对抗样本，更新所述当前对抗样本。9.根据权利要求8所述的方法，其中，利用移动后得到的对抗样本，更新所述当前对抗样本，包括：将所述移动后得到的对抗样本投影至所述特定模型的决策边界，得到本轮更新后的当前对抗样本；所述决策边界将样本空间分隔为对抗样本子空间和正常样本子空间。10.根据权利要求8或9所述的方法，其中，将所述当前对抗样本沿着所述样本梯度向量的方向移动，包括：将所述当前对抗样本沿着所述样本梯度向量的方向移动第一步长；基于所述特定模型，查询所述移动第一步长得到的样本是否属于对抗样本；若属于，则将其作为所述移动后得到的对抗样本。11.一