基于全局注意力特征聚类的无监督目标行人重识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113743350A(43)申请公布日2021.12.03(21)申请号202111075799.7(22)申请日2021.09.14(71)申请人河南工业大学地址450001河南省郑州市高新技术产业开发区莲花街100号河南工业大学科技处(72)发明人付苗苗田月媛邓淼磊张德贤吴雨露(51)Int.Cl.G06K9/00(2006.01)G06K9/40(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图3页(54)发明名称基于全局注意力特征聚类的无监督目标行人重识别方法(57)摘要本发明针对复杂背景下无标签行人图像背景噪声使全局重要特征不能很好学习的问题，提出一种基于全局注意力特征聚类的无监督目标行人重识别方法。本发明通过在卷积神经网络中加入信道注意力和空间注意力模块并分析在网络中的融合位置，生成一个信道空间注意力网络（ChannelSpatialAttentionNetwork，CSAN）提取全局特征，利用注意力机制降低背景噪声对行人全局特征的影响，提高模型对图像中有效信息的关注；采用一种平均离散正则化聚类准则改进层次聚类算法，增强无监督模型学习全局特征的能力，提高无监督行人重识别模型的识别能力。CN113743350ACN113743350A权利要求书1/2页1.针对复杂背景下无标签行人图像背景噪声使全局重要特征不能很好学习的问题，提出一种基于全局注意力特征聚类的无监督目标行人重识别方法；具体技术方案如下：(1)信道空间注意力机制改进的信道空间注意力网络为了降低背景噪声的影响，得到更加精细的全局重要特征，采用信道空间注意力对卷积神经网络进行改进；信道空间注意力属于混合注意力机制，结合了通道和空间两个维度的重要信息，因此，其过滤图像背景噪声的性能优于单一的注意力机制；信道注意力可以获取特征映射的通道维度的注意力掩码，由平均池化、最大池化、共享网络和激活函数组成；通过压缩输入特征映射的空间维数能有效计算输入图像中什么有意义；平均池化适用于空间信息聚合，最大池化能推断更精细的通道注意力，将特征映射输送到并联的两种池化层进行空间信息的压缩，得到两种空间描述符和之后使用由多层C×1×1感知器(MLP)和隐藏层组成的共享网络计算出信道注意力映射mC∈R，对元素求和计算得到信道注意力特征向量：其中，W0和W1表示MLP中的共享权重，和表示平均池化特征和最大池化特征，激活函数为ReLU；空间注意力是对信道注意力的补充，它通过平均池化和最大池化压缩输入特征映射信道维数能关注图像中有效信息部分，将两种池化操作沿信道轴应用来压缩特征映射的信道信息获得级联特征描述符和之后通过卷积层连接和卷积操作计算H×W出二维空间注意力特征映射mS∈R：其中，F7×7表示7×7卷积操作，和表示平均池化和最大池化操作，σ表示sigmoid函数；本发明所提出的信道空间注意力根据信道注意力和空间注意力各自的特点，先通过信道注意力使网络过滤掉样本中复杂的背景噪声，学习到“什么”是具有意义的信息，再通过空间注意力获取哪一部分是重要信息，以串行的方式使信道与空间注意力更好地发挥出各自的优势；对图像的中间层特征映射f进行操作，分别计算出一维信道注意力特征映射和二维空间注意力特征映射，计算注意力过程为：其中，表示元素之间的乘积；先进行信道注意力计算，得到的结果再进行空间注意力计算；使用信道空间注意力网络(CSAN)进行全局特征提取，其主要通过在ResNet50网络的最后一层残差层中串行融入信道和空间注意力机制来降低图像背景噪声对行人重要特征提取的影响，并通过一个1024维全连接层对提取的特征降维到固定大小便于距离度量；之后将提取的每个特征分别作为单独的类别分为不同的簇，同时以特征之间的相似性和离散性作为监督信息，使用一个分类器作对特征进行存储便于特征学习，并为每个簇标记伪标签；2CN113743350A权利要求书2/2页(2)平均离散正则化聚类准则优化层次聚类算法无监督全局特征学习的实质是拉近相似特征，推远不同特征，为了进一步提高模型对全局特征的判别性学习，本方法采用平均离散正则化聚类准则优化层次聚类算法与自底向上层次聚类方法中的传统聚类准则不同；不仅考虑了类别内特征之间的相似性还考虑到类别间特征之间的离散特性，并通过样本的多样性来约束簇内样本特征的分配，从而减少聚类过程中同一行人样本被推远，不同行人被拉近的问题，提高无监督聚类模型对特征的判别性学习；在特征学习空间，平均离散正则化聚类准则通过判断聚类簇内的合并程度和簇间的分离程度共同来学习判别性特征，从而减少实际环境中不同行人特征相似的情况对全局特征学习的