一种基于残差多通道注意力多特征融合的行人重识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115830531A(43)申请公布日2023.03.21(21)申请号202211481147.8G06N3/048(2023.01)(22)申请日2022.11.24G06N3/08(2023.01)(71)申请人沈阳化工大学地址110142辽宁省沈阳市经济技术开发区11号街(72)发明人陈斌陈玉(74)专利代理机构沈阳技联专利代理有限公司21205专利代理师张志刚(51)Int.Cl.G06V20/52(2022.01)G06V10/40(2022.01)G06V10/774(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)权利要求书2页说明书8页附图5页(54)发明名称一种基于残差多通道注意力多特征融合的行人重识别方法(57)摘要一种基于残差多通道注意力多特征融合的行人重识别方法，涉及一种行人重识别方法，本发明构建残差双通道注意力模块，将残差块与残差双通道注意力模块相串联形成的新的残差注意力模块(RRMCA)，使用所述的RRMCA模块搭建主干网络用来提取图像特征；形成三条分支网络，并进行特征融合；使用Softmax损失、三元组损失和中心损失联合优化模型；注意力机制的引入使网络有选择性地加强关键特征，抑制无用特征，提升网络的辨别能力和模型的表达能力，有效解决注意力机制引起的全局弱化问题，多尺度特征的融合成分提取行人的关键信息，获取具有辨别力的全局特征，从而提高行人重识别的准确率，解决行人重识别的更多细节和判别显著特征问题。CN115830531ACN115830531A权利要求书1/2页1.一种基于残差多通道注意力多特征融合的行人重识别方法，其特征在于，所述方法包括以下步骤：步骤1：针对输入的数据集，利用构建的行人重识别网络模型提取图像特征；步骤2：搭建残差双通道注意力模块提取行人图像的判别性特征；步骤3：多尺度特征融合；步骤4：采用Softmax失函数、三元组损失函数和中心损失函数对步骤1中的行人重识别网络模型进行联合训练，得到行人重识别网络模型的最优参数；步骤5：针对行人重识别公开数据集中包含的查询集和候选集，计算查询集中指定对象和候选集中的每个对象的欧式距离，接着对所计算得到的距离进行升序排序，获得行人重识别的排序结果。2.根据权利要求1所述的一种基于残差多通道注意力多特征融合的行人重识别方法，其特征在于，所述步骤1包括以下子步骤：步骤1.1：为了丰富数据的多样性，提高模型的泛化能力，首先对输入模型的图片数据集进行预处理操作，包括归一化、随机水平翻转、随机裁剪和随机擦除等操作；将预处理操作完成的图片数据集送入行人重识别网络模型；步骤1.2：行人重识别网络模型为RRMCA‑ResNet50网络，RRMCA‑ResNet50网络是将残差双通道注意力模块(ResidualMultiscaleChannelAttention,RMCA)分别与ResNet‑50中4个改进的残差块相串联构成的网络模型；RRMCA‑ResNet50主干网络包括1个卷积层、1个池化层和4个残差注意力模块(RRMAC)，其中网络模型的RRMCA_1和RRMCA_3和RRMCA_4提取的特征图分别通过三条分支网络，形成多分支结构。3.根据权利要求1所述的一种基于残差多通道注意力多特征融合的行人重识别方法，其特征在于，所述步骤2包括以下子步骤：步骤2.1：在网络结构中引入残差双通道注意力模块(RMAC)，结合全局上下文和局部上下文的语义信息，使用尺度不同的两个分支来提取通道注意力权重，其中一个分支先通过GlobalAvgPooling再通过点卷积来提取全局特征的通道注意力权重，另一个分支直接使用点卷积提取局部特征的通道注意力权重，去获得更多图像特征的细节信息；模块中增加残差结构，将得到的新的特征图与输入特征图相加，有效解决注意力机制引起的全局弱化问题；步骤2.2：就局部分支来说，输入特征向量先经过1*1的点卷积，将输入的特征向量H(x)的通道数减少为原先的1/r，然后激活函数进行激活，最后通过1*1的点卷积进行升维，将通道数目恢复成与原通道数目相同；局部特征的通道注意力的计算公式L(X)如下：其中代表1*1的点卷积，B表示BatchNorm层，表示Mish激活函数，代表1*1的点卷积，r为通道缩放比,代表经局部特征通道提取的特征向量；另一分支为输入特征经过全局特征的通道注意力，与局部分支不同的是，先对输入特征进行全局平均池化操作；全局特征的通道注意力的计算公式L(X)如下：2CN115830531A权利要求书2/2页其中代表全局平均池化层，代表经全局特征通道提取的特征向量；步骤2.3：将得到的特征向量和进行特征融合，使用激活函数激活，得到权重矩阵，并