对抗样本的生成方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112990383A(43)申请公布日2021.06.18(21)申请号202110510166.8(22)申请日2021.05.11(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人郑行邹泊滔严淮王鑫云赖伟达吴潇丽汤深孙清清张天翼(74)专利代理机构济南信达专利事务所有限公司37100代理人李世喆(51)Int.Cl.G06K9/62(2006.01)权利要求书2页说明书9页附图2页(54)发明名称对抗样本的生成方法和装置(57)摘要本说明书实施例提供了一种对抗样本的生成方法和装置。该方法中，首先获取原始样本；根据所述原始样本，得到至少两个原始向量；从所述至少两个原始向量中选择出待扰动向量；对待扰动向量添加对抗扰动，得到扰动向量；在预先设置的向量池中检索与扰动向量相近似的向量；其中，所述向量池中包括根据各历史原始样本得到的各历史原始向量；根据检索到的相近似的向量，得到对抗样本。CN112990383ACN112990383A权利要求书1/2页1.对抗样本的生成方法，包括：获取原始样本；根据所述原始样本，得到至少两个原始向量；从所述至少两个原始向量中选择出待扰动向量；对待扰动向量添加对抗扰动，得到扰动向量；在预先设置的向量池中检索与扰动向量相近似的向量；其中，所述向量池中包括根据各历史原始样本得到的各历史原始向量；根据检索到的相近似的向量，得到对抗样本。2.根据权利要求1所述的方法，其中，所述样本对应于指定业务类型；所述向量池中包括的各历史原始向量是根据对应所述指定业务类型的各历史原始样本得到的。3.根据权利要求1所述的方法，其中，所述对待扰动向量添加对抗扰动，包括：得到待扰动向量在一个维度上对应的扰动值；将待扰动向量在该维度上的数值增加或者减少预定倍数的该维度对应的扰动值。4.根据权利要求3所述的方法，其中，得到待扰动向量在一个维度上对应的扰动值，包括如下中的至少一项：随机生成待扰动向量的一个维度对应的扰动值；得到模型所使用的梯度函数的方向向量，将该方向向量在一个维度上的数值作为所述待扰动向量在该维度上对应的扰动值；其中，所述模型为所述原始样本和所述对抗样本训练的模型。5.根据权利要求1所述的方法，其中，所述在预先设置的向量池中检索与扰动向量相近似的向量包括：利用simHash算法，KNN算法或KDTree算法，在预先设置的向量池中检索与扰动向量相近似的向量。6.根据权利要求1所述的方法，其中，所述与扰动向量相近似的向量满足如下中的至少一种：与扰动向量的欧式距离小于预设距离值；所述预设距离值为正整数；与扰动向量的余弦距离大于预设角度值；与扰动向量的杰卡德相似系数大于预设系数值；不等于待扰动向量。7.根据权利要求1所述的方法，其中，所述根据检索到的相近似的向量得到对抗样本，包括：利用本次检索到的相近似的向量，得到相似样本；将所述相似样本输入模型中，得到第一识别结果；判断所述第一识别结果与将所述原始样本输入所述模型时得到的第二识别结果之间的差异是否满足对抗要求；如果否，返回执行所述对待扰动向量添加对抗扰动的步骤至所述判断的步骤，直至判断结果为是；如果是，则将本次检索到的向量确定为对抗向量；2CN112990383A权利要求书2/2页利用对抗向量生成对抗样本。8.根据权利要求1至7中任一所述的方法，其中，所述样本为文本数据；所述向量对应的文本数据的粒度为：字符、n‑gram片段、词或者句子。9.对抗样本的生成装置，包括：输入模块，被配置为获取原始样本；向量转换模块，被配置为根据所述原始样本，得到至少两个原始向量；扰动处理模块，被配置为从所述至少两个原始向量中选择出待扰动向量；对待扰动向量添加对抗扰动，得到扰动向量；对抗样本确定模块，被配置为在预先设置的向量池中检索与扰动向量相近似的向量；其中，所述向量池中包括根据各历史原始样本得到的各历史原始向量；根据检索到的相近似的向量，得到对抗样本。10.根据权利要求9所述的装置，其中，所述扰动处理模块被配置为执行：得到待扰动向量在一个维度上对应的扰动值；将待扰动向量在该维度上的数值增加或者减少预定倍数的该维度对应的扰动值。11.根据权利要求10所述的装置，其中，所述扰动处理模块被配置为执行如下中的至少一项：随机生成待扰动向量的一个维度对应的扰动值；得到模型所使用的梯度函数的方向向量，将该方向向量在一个维度上的数值作为所述待扰动向量在该维度上对应的扰动值；其中，所述模型为所述原始样本和所述对抗样本训练的模型。12.根据权利要求9至11中任一所述的装置，其中，所述对抗样本确定模块被配置执行：利用本次检索到的相近似的向量，得到相似样本；将所述相似