基于联合局部特征判别性学习的无监督目标行人重识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113936246A(43)申请公布日2022.01.14(21)申请号202111076953.2G06N3/04(2006.01)(22)申请日2021.09.14G06N3/08(2006.01)(71)申请人河南工业大学地址450001河南省郑州市高新技术产业开发区莲花街100号河南工业大学科技处(72)发明人田月媛付苗苗邓苗磊张德贤吴雨露(51)Int.Cl.G06V20/52(2022.01)G06V10/44(2022.01)G06V10/74(2022.01)G06V10/762(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)权利要求书3页说明书9页附图2页(54)发明名称基于联合局部特征判别性学习的无监督目标行人重识别方法(57)摘要本发明公开了一种基于联合局部特征判别性学习的无监督目标行人重识别方法，该方法由并行的空间变换器和多个简单的卷积神经网络构成的联合局部特征提取网络（JointLocalFeatureExtractionNetwork,JLFEN）对同一行人水平动态划分出两组数量尺度不同的局部区域并提取有效的特征，使局部特征在空间中有效对齐；采用由局部特征判别（LocalFeatureDiscrimination,LFD）损失函数和级联特征判别（CascadeFeatureDiscrimination,CFD）损失函数组成的特征联合判别（FeatureJointDiscrimination,FJD）损失函数提高模型对无监督局部特征进行判别性学习，降低外形相似的不同行人对局部特征学习的影响。CN113936246ACN113936246A权利要求书1/3页1.一种基于联合局部特征判别性学习的无监督目标行人重识别方法，其特征在于：联合局部特征提取网络；为了使网络根据图像中行人姿态角度变化提取出不同区域的局部特征，减少局部特征不能很好对齐问题，在ResNet50网络后加入了两个并行的空间变换器进行局部区域的划分并使用简单的卷积神经网络进行特征提取将图像的中间特征映射送入多个定位网络中，对特征映射进行空间变换与原图像相比，减少了网络计算复杂度；定位网络由核大小为3×3卷积层和两个全连接层组成，使用ReLU作为该网络激活函数，最后一个全连接层初始化偏置，为了得到两种划分方式的局部采样网格，利用定位网络分别预测出两组空间位置参数θ＝{θ1，θ2，...，θM}和η＝{η1，η2，...，ηN}；为了使预测的空间位置能够获取有效的细粒度特征并在空间中对齐，这里根据人体垂直方向的各部位对两个空间变换器中的位置参数进行预测；人体可以分为头部、上身和下身三部分，通常人体为上身短下身长，其头部占比最小，其次是上身，然后是下身，但是在摄像头下，由于摄像头角度的变化和行人姿态的变化，得到的图像中行人比例就会发生变化，比如出现上身长下身短的问题，同一行人划分出来的局部区域可能会出现无法对齐的情况；定位网络首先预测三组空间位置参数对行人进行水平方向不等比例的划分得到纵向宽比接近为1:2:3的三块局部区域，从上往下得到的局部特征，使头部所占比例最小，中间接近正常视角上身的大小，最后包含行人臀部以下的特征信息，网络可以根据图像中行人的变化具体情况对图像空间中行人划分出不同的局部区域，可以很好地应对行人比例、姿态等变化造成的局部特征不能对齐问题；另外行人上身部分和下身部分又包含较为详细的行人信息，可分为胸部、腹部、大腿、小腿及脚等部位，其不同的部位可能包含的特征信息不同，精细的局部区域划分得到的特征信息可以更好地使模型提取图像中的细粒度特征，因此，又考虑根据人体包含的几个部位预测六组空间位置参数将图像划分出六块局部区域，便于网络挖掘行人局部区域的更有效的细粒度特征信息，结合两种局部特征信息有利于提高模型的鲁棒性和识别精确度，这里位置参数采用大小为2×3的仿射变换，通过对特征映射进行裁剪操作获取局部区域；其中Aθ，Aη分别表示两组定位网络中的未知参数，通过预测参数a,b,c,d对图像进行局部剪裁；根据预测的参数对对特征映射进行裁剪，使其根据图像中行人的空间位置，划分出不同位置和尺度的局部采样网格，生成过程为其中，对于定位网络参数化的每个空间位置，表示输入的空间位置坐标，表示输出的空间位置坐标；最后得到两组不同划分方式的局部采样网格参数，用采样器进行采样，上式在同一图像中分别得到了纵向宽比接近1:2:3的三块局部区域和六块局部区域，由于不同的局部区域包含行人不同部分的特征信息，最后将得到的局部区域分别送入简单的卷积神经网络中编码得到局部特征；该卷积神经网络由自适应平均池化函数、卷积层、