一种基于通道注意力的行人再识别对抗攻击方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115841681A(43)申请公布日2023.03.24(21)申请号202211353732.XG06V10/774(2022.01)(22)申请日2022.11.01(71)申请人南通大学地址226001江苏省南通市崇川区啬园路9号(72)发明人张琳钰王进(74)专利代理机构北京科家知识产权代理事务所(普通合伙)11427专利代理师曹振中(51)Int.Cl.G06V40/10(2022.01)G06N3/0464(2023.01)G06N3/08(2023.01)G06V10/74(2022.01)G06V10/764(2022.01)权利要求书2页说明书7页附图4页(54)发明名称一种基于通道注意力的行人再识别对抗攻击方法(57)摘要本申请公开了一种基于通道注意力的行人再识别对抗攻击方法，该方法包括：基于掩码算法mask和ECA通道注意力，构建卷积神经网络；基于行人图像训练集，获取卷积神经网络的输入图像；基于输入图像和卷积神经网络，获取输入图像中的深度特征；基于损失函数，获取深度特征的损失值并优化卷积神经网络，得到深度神经网络；基于深度神经网络和待查询图像，获取待查询图像的最终特征；基于最终特征与行人图像的特征向量之间的相似度，获得待查询图像的匹配结果。本申请提出对抗性注意力机制的行人再识别攻击方法，破坏掩码mask的打分规则来打破原有的通道注意力权重，提高了注意力机制对行人再识别系统的鲁棒性。CN115841681ACN115841681A权利要求书1/2页1.一种基于通道注意力的行人再识别对抗攻击方法，其特征在于，包括以下步骤：基于掩码算法mask和ECA通道注意力，构建卷积神经网络；基于行人图像训练集，获取所述卷积神经网络的输入图像；基于所述输入图像和所述卷积神经网络，获取所述输入图像中的深度特征；基于损失函数，获取所述深度特征的损失值并优化所述卷积神经网络，得到深度神经网络；基于所述深度神经网络和待查询图像，获取所述待查询图像的最终特征；基于所述最终特征与行人图像的特征向量之间的相似度，获得所述待查询图像的匹配结果。2.根据权利要求1所述的方法，其特征在于，所述基于掩码算法mask和ECA通道注意力，构建卷积神经网络的方法，包括以下步骤：基于所述行人图像训练集和初始卷积神经网络，获取包含行人图像的初级映射特征的ImageNet数据集；基于所述ImageNet数据集，对ResNet50模型进行预训练；基于已经进行预训练的所述ResNet50模型，将用于打破原有注意力权重的掩码算法mask添加到所述Resnet50模型的中间层的特征图中，获取所述卷积神经网络。3.根据权利要求2所述的方法，其特征在于，所述基于所述输入图像和所述卷积神经网络，获取所述输入图像中的深度特征的方法，包括以下步骤：基于所述卷积神经网络和所述输入图像，获取所述输入图像的对抗性权重图；基于所述对抗性权重图与预设对抗性阈值的差值，获取所述输入图像中的深度特征。4.根据权利要求3所述的方法，其特征在于，所述基于所述对抗性权重图与预设对抗性阈值的差值，获取所述输入图像中的深度特征的方法，包括以下步骤：响应于所述对抗性权重图与预设对抗性阈值之间的第一差值大于等于零，则降低所述对抗性权重图中的对抗性权重，获取所述深度特征；响应于所述对抗性权重图与预设对抗性阈值之间的第一差值小于零，则提高所述对抗性权重图中的对抗性权重，获取所述深度特征。5.根据权利要求1所述的方法，其特征在于，所述损失函数为基于对抗三元组损失函数和对抗身份损失模型的组合函数。6.根据权利要求5所述的方法，其特征在于，所述对抗三元组损失函数用于通过公式(1)攻击预测排序，所述公式(1)为：其中，Ck是第K个行人ID中抽取的样本数量，是一个小批量中第K个行人ID中的第c个图像，Cp、Ck分别是来自同一ID和不同ID的样本，是范数的平方作为距离度量，α是一个边界阈值；距离采用欧氏距离度量，[]表示在[]+内的值大于零的时候，取该值为损失，小于零的时候，损失则为零。7.根据权利要求5所述的方法，其特征在于，所述对抗身份损失模型通过公式(2)掩饰2CN115841681A权利要求书2/2页针对非目标攻击，其中公式(2)为：其中，S表示log_softmax函数；K是行人ID的总数；ν＝[1/k‑1,…,0,…1/k‑1]是平滑正则化,除了当k是真实的身份时，其他时候νk＝1/k‑1；argmin表示返回输出概率向量的最小值的索引。8.根据权利要求1所述的方法，其特征在于，所述基于所述最终特征与行人图像的特征向量之间的相似度，获得所述待查询图像的匹配结果的方法，包括以下步骤：选择识别模型，将所述深度神经网络添加至所述识别模型中；基于所