一种基于自注意力机制的行人检索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113920470A(43)申请公布日2022.01.11(21)申请号202111185768.7G06V40/10(2022.01)(22)申请日2021.10.12G06V40/20(2022.01)(71)申请人中国电子科技集团公司第二十八研究所地址210046江苏省南京市栖霞区灵山南路1号(72)发明人韩岑刘晶晶刘凯肖德岐苏京勋朱伟朱华巍郭星华王海青(74)专利代理机构江苏圣典律师事务所32237代理人胡建华(51)Int.Cl.G06V20/52(2022.01)G06N3/04(2006.01)G06V10/82(2022.01)权利要求书4页说明书11页附图2页(54)发明名称一种基于自注意力机制的行人检索方法(57)摘要本发明提供了一种基于自注意力机制的行人检索方法，针对输入的行人图片集，该方法先利用FasterR‑CNN检测行人框，并提取卷积特征图以及计算损失；基于自注意力的行人特征精细化，在对行人卷积特征图进行水平分割后，针对每个分割区域提取行人关键点，计算空间自注意力和通道自注意力，基于这两种自注意力对卷积特征图进行优化调整，计算分割块损失函数；基于随机标签平滑策略的行人特征差异化，在利用L‑Softmax函数生成分类置信度向量的基础上，通过降采样进行随机标签选择，并计算随机标签平滑损失；网络训练，以上述三种损失函数之和最小化为目标训练网络中的参数，生成更具区分性的行人特征，使得最终产生的行人检索结果更精确。CN113920470ACN113920470A权利要求书1/4页1.一种基于自注意力机制的行人检索方法，其特征在于，包括以下步骤：步骤1，以包含行人的监控视频图像作为输入，通过卷积神经网络检测所述监控视频图像中的所有行人，得到行人检测框和每个所述行人对应的卷积特征图，并计算行人检索任务中的子任务，即计算行人检测损失；步骤2，根据所述卷积特征图，通过基于自注意力机制的行人特征精细化模块，将所述卷积特征图水平分割，在获得的每一个分割块中提取行人关键点，并将所述行人关键点所对应的区域转化为空间自注意力，结合通道自注意力，在所述每一个分割块上，得到行人辨识度更加突出的特征向量，针对所述每一个分割块计算空间自注意力损失；步骤3，以所述卷积特征图作为输入，生成分类置信度向量，进行随机标签选择，根据随机选择后的标签进行标签平滑，计算随机标签平滑损失；步骤4，对所述步骤1至步骤3计算获得的所有损失函数求和，将求和结果作为基于自注意力机制的行人检索框架的总损失，以最小化所述总损失为目标，更新所述基于自注意力机制的行人检索框架中的所有参数；步骤5，基于所述自注意力机制的行人检索框架，在确定目标行人图H后，以待检索的监控视频图像作为输入，判断所述待检索的监控视频图像中是否存在目标行人，若存在则输出行人检索结果，即通过所述行人检测框标记出目标行人在待检索的监控视频画面中的位置。2.根据权利要求1所述的一种基于自注意力机制的行人检索方法，其特征在于，所述步骤1，包括：针对输入的行人图像集，即所述包含行人的监控视频图像，采用FasterR‑CNN算法检测所述监控视频图像中的所有行人，得到所述行人检测框、整张所述监控视频图像的卷积特征图以及每个行人对应的卷积特征图，所述每个行人对应的卷积特征图即：W*H*CFi∈R，i＝1…n其中，Fi表示每个行人对应的卷积特征图，i表示行人序号，R表示行人卷积特征图集，W，H，C分别代表每个行人对应的卷积特征图的宽度、高度和通道数，n表示检测到的监控视频图像中的行人个数；以FasterR‑CNN算法中描述的Softmax损失函数和SmoothL1损失函数计算行人检索任务中的子任务，即计算所述行人检测损失。3.根据权利要求1所述的一种基于自注意力机制的行人检索方法，其特征在于，所述步骤2，包括：W*H*C步骤2‑1，得到所述每个行人对应的卷积特征图Fi∈R后，通过水平分割的方式将所述每个行人对应的卷积特征图分成N块，其中1＜N＜H；分割后的卷积特征块的尺寸为所述分割后的卷积特征块即分割块；步骤2‑2，所述基于自注意力机制的行人特征精细化模块包括通过基于行人关键点的空间自注意力机制：针对所述分割后的卷积特征块，使用弱监督学习的方式提取K个行人关键点，并使用一个卷积层将输入的所述分割后的卷积特征块Fij转化为i表示行人序号，2CN113920470A权利要求书2/4页提取每一个通道中的最大值进行降采样，获得空间自注意力所述空间自注意力S所有像素点的和在[1，K)区间中；在所述基于自注意力机制的行人特征精细化模块的训练阶段，通过如下损失函数进行约束：其中，lS为空间自注意力损失，用于提取不同行人的代表性空间特征；步骤2‑3