一种对抗样本生成模型的构建方法及应用.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115019102A(43)申请公布日2022.09.06(21)申请号202210693348.8G06F17/16(2006.01)(22)申请日2022.06.17G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人华中科技大学地址430074湖北省武汉市洪山区珞喻路1037号(72)发明人付才何帅刘铭冯冠云吕建强邓丰阳(74)专利代理机构华中科技大学专利中心42201专利代理师夏倩(51)Int.Cl.G06V10/764(2022.01)G06V10/82(2022.01)G06V10/774(2022.01)G06V10/74(2022.01)权利要求书3页说明书9页附图1页(54)发明名称一种对抗样本生成模型的构建方法及应用(57)摘要本发明公开了一种对抗样本生成模型的构建方法及应用，属于人工智能安全领域，所构建的模型包括级联的扰动模块和奖励计算模块；通过最大化图像样本集中的所有图像样本所对应的奖励的累积值，对对抗样本生成模型进行训练；当对抗样本生成模型训练完成后，扰动模块输出的扰动后的图像即为基于图像样本生成的对抗样本；本发明构建了一个基于强化学习的对抗样本生成模型，通过在对抗样本生成模型的训练过程中不断优化扰动值，使得查询朝向所期望的目标进行，规避了大量的重复查询，计算效率较高。除此之外，本发明所构建的模型并不依赖目标模型的梯度来生成对抗样本，实用性更强，适用范围更广。CN115019102ACN115019102A权利要求书1/3页1.一种对抗样本生成模型的构建方法，其特征在于，包括以下步骤：S1、搭建对抗样本生成模型；所述对抗样本生成模型包括级联的扰动模块和奖励计算模块；所述扰动模块用于对图像样本进行扰动，得到扰动后的图像；所述奖励计算模块用于分别将扰动前和扰动后的图像输入到神经网络中进行目标检测，得到扰动前和扰动后的图像中的各目标类别及其对应的分类置信度；并计算扰动前和扰动后图像中各目标类别和对应分类置信度的变化，以及当前扰动前后和上一次扰动前后图像像素差异的比值，得到图像样本所对应的奖励；S2、将图像样本集输入到所述对抗样本生成模型中，通过最大化所述图像样本集中的所有图像样本所对应的奖励的累积值，对所述对抗样本生成模型进行训练；当所述对抗样本生成模型训练完成后，所述扰动模块输出的扰动后的图像即为基于图像样本生成的对抗样本；其中，所述图像样本集包括若干不同类别的图像样本及其对应的真实类别。2.根据权利要求1所述的对抗样本生成模型的构建方法，其特征在于，所述扰动模块包括级联的奇异值分解模块、强化学习模型和整合模块；所述奇异值分解模块用于对图像样本进行奇异值分解，得到图像样本的左奇异矩阵U、奇异值矩阵Σ和右奇异矩阵V；所述强化学习模型用于获取所述奇异值矩阵Σ的扰动值；所述整合模块用于基于所述奇异值矩阵Σ的扰动值对所述奇异值矩阵Σ进行扰动，得到扰动后的奇异值矩阵Σ'；计算UΣ'VT，得到扰动后的图像。3.根据权利要求2所述的对抗样本生成模型的构建方法，其特征在于，所述奇异值分解模块用于对图像样本按照通道进行奇异值分解，得到图像样本不同通道下的左奇异矩阵、奇异值矩阵和右奇异矩阵；所述强化学习模型用于获取图像样本不同通道下的奇异值矩阵的扰动值；所述整合模块用于基于图像样本不同通道下的奇异值矩阵的扰动值分别对对应通道下的奇异值矩阵进行扰动，得到不同通道下扰动后的奇异值矩阵；计算得到扰动后的图像；其中，P为图像样本的通道数量；Ui为图像样本第i个通道下的左奇异矩阵；Σi'为图像样本第i个通道下扰动后的奇异值矩阵；Vi为图像样本第i个通道下的右奇异矩阵。4.根据权利要求1所述的对抗样本生成模型的构建方法，其特征在于，所述扰动模块包括级联的目标提取模块、奇异值分解模块、强化学习模型和整合模块；所述目标提取模块用于提取图像样本中的目标区域，得到目标样本；所述奇异值分解模块用于对所述目标样本进行奇异值分解，得到所述目标样本的左奇异矩阵Ut、奇异值矩阵Σt和右奇异矩阵Vt；所述强化学习模型用于获取所述奇异值矩阵Σt的扰动值；所述整合模块用于基于所述奇异值矩阵Σt的扰动值对所述奇异值矩阵Σt进行扰动，T得到扰动后的奇异值矩阵Σ't；计算得到UtΣt'Vt后，替换所述图像样本中的目标区域，得2CN115019102A权利要求书2/3页到扰动后的图像。5.根据权利要求1‑4任意一项所述的对抗样本生成模型的构建方法，其特征在于，所述图像样本所对应的奖励包括：r1＝P1w1r2＝P2w2其中，r1为当前扰动前和扰动后的图像中的目标类别不一致时的奖励；P1为当前扰动前和扰动后的图像中目标类别不一致的总数量；w1为当前扰动前和扰动后的图像中的目标类