一种多尺度批量特征丢弃网络的行人重识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114694170A(43)申请公布日2022.07.01(21)申请号202210091784.8G06V10/82(2022.01)(22)申请日2022.01.26G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人安徽大学地址230601安徽省合肥市九龙路安徽大学电气工程与自动化学院(72)发明人张德祥袁培成寻丽娜张晶晶(74)专利代理机构北京盛凡佳华专利代理事务所(普通合伙)11947专利代理师汤镇宇(51)Int.Cl.G06V40/10(2022.01)G06V20/52(2022.01)G06V10/40(2022.01)G06V10/80(2022.01)G06V10/764(2022.01)权利要求书2页说明书5页附图3页(54)发明名称一种多尺度批量特征丢弃网络的行人重识别方法(57)摘要本发明公开了一种多尺度批量特征丢弃网络的行人重识别方法，涉及行人识别技术领域，具体包括如下步骤：S1、利用IBN‑Net50‑a为基础骨干网络提取特征；S2、对最后两层卷积层融合批量特征丢弃方法；S3、拼接不同维度的特征，能够包含更多浅层、深层的有用信息，IBN包括IN和BN，IN提取的鲁棒特征是不随一些外观变化而变化的，如颜色、风格、虚拟/真实，BN则是保留与内容相关的信息，本发明以IBN‑Net50‑a为骨干网的改进的网络模型，对最后两层卷积层融合批量特征丢弃方法，以增强局部区域的专注特征学习。采取多尺度特征融合策略，对不同的分支输出的特征图采用不同的池化，提升网络的鲁棒性、学习效率以及识别率。CN114694170ACN114694170A权利要求书1/2页1.一种多尺度批量特征丢弃网络的行人重识别方法，其特征在于：具体包括如下步骤：S1、利用IBN‑Net50‑a为基础骨干网络提取特征；S2、对最后两层卷积层融合批量特征丢弃方法；S3、拼接不同维度的特征，能够包含更多浅层、深层的有用信息。2.根据权利要求1所述的一种多尺度批量特征丢弃网络的行人重识别方法，其特征在于：在步骤S1中，IBN包括IN和BN，IN提取的鲁棒特征是不随一些外观变化而变化的，如颜色、风格、虚拟/真实，BN则是保留与内容相关的信息。3.根据权利要求2所述的一种多尺度批量特征丢弃网络的行人重识别方法，其特征在于：在步骤S1中，IBN‑Net50‑a只在ResNet50前面3个Group(conv2_x～conv_4‑x)中加入IN，其他组不变。4.根据权利要求3所述的一种多尺度批量特征丢弃网络的行人重识别方法，其特征在于：在步骤S2中，给定主干网络从一批输入图像计算出的特征图T，批量特征丢弃层随机丢弃相同的特征图T区域，丢弃区域内的所有单位均为零。5.根据权利要求4所述的一种多尺度批量特征丢弃网络的行人重识别方法，其特征在于：在步骤S2中，以IBN‑Net50‑a为基础骨干网络，对最后两层卷积层融合批量特征丢弃方法，以增强局部区域的专注特征学习；对融合批量特征丢弃方法采用全局最大池化，对其他采用全局平均池化，分别采用卷积降维处理，提高网络的学习效率，改进后的行人重识别网络结构主要有骨干网络、卷积层、FD模块、池化层以及全连接层。6.根据权利要求5所述的一种多尺度批量特征丢弃网络的行人重识别方法，其特征在于：IBN‑Net50‑a整体网络由3个部分组成：1)主要负责从模型不同深度提取不同尺度的特征图(f1、f2、f3)，f1的尺度为48×16×512，f2的尺度为24×8×1024，最后一个卷积的步长设为1，f3的尺度为24×8×2048；2)对提取到的特征图进行处理，分为4个部分，对f2、f3分别融合批量特征丢弃方法，采用全局最大池化层得到特征向量F2维数为1024，F3维数为2048，强迫网络获得局部细节特征，对f3特征图不做其他处理，采用全局平均池化层得到特征向量FF3维数为2048，最后卷积核为1×1的进行降维，其维数进一步减少到512，最后归一化特征进行拼接，以获得最后的特征包含不同层次信息；3)对处理后的特征向量进行分类和度量学习，采用标签平滑损失和三元组损失的联合损失函数进行，不同尺度特征图池化层之后的特征用三元组损失函数，最后全连接层用标签平滑损失函数，测试推理时，则将所有的输出特征拼接起来，然后通过计算欧式距离的方式进行排序。7.根据权利要求6所述的一种多尺度批量特征丢弃网络的行人重识别方法，其特征在于：行人重识别任务中，三元组损失优化过程为针对目标样本和正样本以及负样本之间的距离，使得相同行人(类内)距离更近，不同行人(类间)距离更远。8.根据权利要求7所述的一种多尺度批量特征丢弃网络的行人重识别方法，其特征在于：一个三元组可以被描述