基于多级特征细化的遮挡行人重识别方法、系统及介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937897A(43)申请公布日2023.04.07(21)申请号202211576299.6G06N3/08(2023.01)(22)申请日2022.12.09G06V10/82(2022.01)(71)申请人华南理工大学地址510640广东省广州市天河区五山路381号(72)发明人张浪文洪星蔡建鑫刘嘉淏郑酉坤(74)专利代理机构广州市华学知识产权代理有限公司44245专利代理师戴晓琴(51)Int.Cl.G06V40/10(2022.01)G06V10/20(2022.01)G06V10/40(2022.01)G06N3/0464(2023.01)权利要求书2页说明书9页附图3页(54)发明名称基于多级特征细化的遮挡行人重识别方法、系统及介质(57)摘要本发明公开了一种基于多级特征细化的遮挡行人重识别方法、系统及存储介质，所述方法包括：获取遮挡场景下的行人图像并进行预处理；利用ResNet‑50与非局部注意模块构建多级特征细化卷积神经网络中的骨干网络，用于实现行人特征的初级细化；构建多级特征细化卷积神经网络中的两级多支路架构，用于实现被遮挡行人特征的再细化和最终细化；将两级多支路架构输出的特征通过多级特征细化卷积神经网络中的基础操作模块，获得最终的行人全局特征、局部特征和补充特征；将获得各特征拼接作为最终的行人特征用于行人跨相机的检索与匹配，实现遮挡场景下的行人重识别。本发明采用多级特征细化机制，有效提高了遮挡场景下行人重识别的精度。CN115937897ACN115937897A权利要求书1/2页1.一种基于多级特征细化的遮挡行人重识别方法，其特征在于，所述方法包括：获取遮挡场景下的行人图像并进行预处理；利用ResNet‑50与非局部注意模块构建多级特征细化卷积神经网络中的骨干网络，所述骨干网络根据预处理后行人图像提取被遮挡行人特征，以实现行人特征的初级细化；构建多级特征细化卷积神经网络中的两级多支路架构，两级多支路架构中的主支路和子支路根据所述被遮挡行人特征，以实现被遮挡行人特征的再细化和最终细化；将所有子支路输出的特征输入多级特征细化卷积神经网络中的基础操作模块，获得最终的行人全局特征、局部特征和补充特征；将所述行人全局特征、局部特征和补充特征进行拼接，将拼接后的特征作为最终的行人特征用于行人跨相机的检索与匹配，以实现遮挡场景下的行人重识别。2.根据权利要求1所述的遮挡行人重识别方法，其特征在于，所述骨干网络为非局部注意力模块强化的ResNet‑50骨干网络，仅包括conv5_x之前的模块；所述非局部注意力模块对输入的特征图用三个不同的卷积层进行映射并降维分别获得Query、Key和Value，接着对Query和Key进行点乘计算并将结果通过Softmax函数以作为Value的注意力图，将Value乘以注意力图并由卷积层恢复输入特征图的维度，最后将输出与输入的特征图做残差相加获得最终的非局部注意力模块输出。3.根据权利要求1所述的遮挡行人重识别方法，其特征在于，所述两级多支路架构中的主支路包括全局支路、自注意力支路和交叉注意力支路，其中：所述全局支路中conv5_x块的下采样操作被取消，利用全局支路实现行人特征对视图变化和内部变化的鲁棒性表示；所述自注意力支路中conv5_x块的下采样操作被保留，自注意力支路包括自注意力模块，在自注意力模块中使用多头自注意力模块操作捕捉特征长距离的依赖性；所述交叉注意力支路中的交叉注意力机制，用于减少交叉注意力支路输出的特征与自注意力支路输出特征之间的差异，以使两个支路之间的注意区域保持大致一致；此外，交叉注意力支路的独特注意区域被看作是对自注意力支路所遗漏的非遮挡人体局部的补充性注意区域。4.根据权利要求3所述的遮挡行人重识别方法，其特征在于，每条主支路之后均连接两个子支路，两个子支路分别进行全局最大池化操作和全局平均池化操作，以获得更丰富的特征信息。5.根据权利要求4所述的遮挡行人重识别方法，其特征在于，所述在自注意力模块中使用多头自注意力模块操作捕捉特征长距离的依赖性，包括：将预处理后行人图像输入骨干网络，将骨干网络输出的图像特征在自注意力支路中进行下采样后，得到特征图；将特征图转化为二维序列，将二维序列与三个不同的权重矩阵相乘，分别得到key、query和value；将得到的key、query和value分别沿通道方向平均分成h个子集如{Q1,Q2,...,Qh}、{K1,K2,...,Kh}和{V1,V2,...,Vh}，对于第j个头，Qj、Kj、Vj被送入独立的第j个注意力操作头进行独立的交叉注意操作，以捕捉特征图空间上的长距离依赖关系；其中h为多头自注意力操作中的头数；2CN115937897A权利要