一种基于多尺度特征融合的行人重识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114202740A(43)申请公布日2022.03.18(21)申请号202111483359.5G06V10/80(2022.01)(22)申请日2021.12.07(71)申请人大连理工大学宁波研究院地址315016浙江省宁波市江北区育才路23号申请人大连维视科技有限公司(72)发明人张国文戚金清王一帆卢湖川(74)专利代理机构辽宁鸿文知识产权代理有限公司21102代理人苗青(51)Int.Cl.G06V20/52(2022.01)G06N3/04(2006.01)G06K9/62(2022.01)G06V10/774(2022.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于多尺度特征融合的行人重识别方法(57)摘要一种基于多尺度特征融合的行人重识别方法，1)构建基于多尺度融合的模型，并预训练主干网络暨多尺度特征提取器。2)利用多尺度特征提取器生成图像的多尺度特征。3)采用基于Transformer的特征校准模型融合两个不同尺度的特征。4)利用深监督融合从浅层特征到深层特征不断融合不同层级的特征。5)用交叉熵损失和三元组损失监督融合过程。6)将目标测试集图像输入训练好的模型提取特征，根据特征相似度进行排序得到行人重识别的结果，进而实现行人重识别。本发明采用卷积神经网络提取多尺度特征，使用Transformer从全局的角度融合多尺度信息，使得特征同时具有细节和语义信息，有效的提高了行人重识别的准确率。CN114202740ACN114202740A权利要求书1/2页1.一种基于多尺度特征融合的行人重识别方法，其特征在于，包括如下步骤：S1.构建基于多尺度融合的模型，并预训练主干网络即多尺度特征提取器；采用卷积神经网络来提取多尺度的特征，主干网络采用ResNet网络，将ResNet在ImageNet数据集上进行预训练，使得卷积神经网络获得理想的初始化参数；多尺度特征提取器输出的第s级特征为其中Cs表示该层级特征的通道数，Hs,Ws表示该层级特征的高和宽；使用ResNet网络的conv2,conv3,conv4,conv5的输出作为待被融合的特征；S2.采用基于Transformer的特征校准模型融合两个不同尺度的特征；将特征校准模型插入到每个待被融合的层级特征之后，以多尺度特征提取器输出的当前层级特征Xs和上一层级经过融合后的特征作为输入，通过瓶颈层和尺度变换将Xs和Zs‑1调整到同一尺寸；将前一层级特征Xs和上一层级经过融合后的特征Zs‑1级联，级联后的特征送入到基于Transformers的特征校准模型中；基于Transformers的特征校准模型以像素块的序列作为输入，因此将输入的特征Zs通过扁22平化从三维转换为二维特征其中，N＝(H×W)/P,Cp＝(Cs+Cs‑1)×P，P为像素块的分辨率大小，设置为1，此外在序列的最前端加入类别元来作为图像信息的表征，同时每一个像素块与一个可学习的位置编码向量相加，最终得到输入的序列基于Transformers的特征校准模型包含多头自注意力层、前向传播网络、归一化层和残差连接；输入的特征首先被输入到多头自注意力层中，在每一个头中，三个独立的线性映射层将特征映射成query，key，value三个特征矩阵其中其中Nh是多头注意力层中头的数目，Cp为特征通道数；自注意力权重向量基于query和key之间的关联关系计算得到；多头自注意力层最终的输出为V和注意力的权重的乘积，计算公式表示为：然后将多头自注意力层输出的特征和输入的特征通过残差连接，并输入到归一化层中，计算公式表示为：接着将特征送入到前向传播网络之中，前向传播网络包含两个线性层和GELU激活函数，计算公式表示为：其中，W1,W2是全连接层的参数，σ表示GELU激活函数；2CN114202740A权利要求书2/2页将得到的序列通过重塑变回输入时的尺寸，然后经过近邻调整模块得到输出Zs，同时对于当前层级的类别元使用辅助函数进行监督，辅助损失函数的权重设置为λ1，辅助函数包括三元组损失和交叉熵损失；其中三元组损失函数表示为：其中，dpos表示为正样本对之间的欧式距离，dneg表示为负样本对之间的欧式距离，m表示为距离常数，[d]+表示为d与0之间取最大值；交叉熵损失函数表示为：其中，pi表示为预测样本属于类别i的概率，qi表示样本的真实标签；辅助函数表示为：S3.用深监督融合从浅层特征到深层特征迭代融合不同层级的特征，并用交叉熵损失和三元组损失监督融合过程；深监督融合从具有更多细节信息与较少语义信息的浅层特征开始，反复融合具有更多语义信息和更少细节信息的深层特征；此外，为了保证融合后特征中语义信息的完整，使用辅助损失函数来监督融合的过程