基于多任务学习残差神经网络的行人重识别方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115830633A(43)申请公布日2023.03.21(21)申请号202211484307.4G06V10/82(2022.01)(22)申请日2022.11.24G06N3/0455(2023.01)G06N3/0464(2023.01)(71)申请人之江实验室G06N3/08(2023.01)地址311121浙江省杭州市余杭区之江实验室南湖总部(72)发明人朱世强林哲远张春龙宛敏红李特王文黄敏(74)专利代理机构杭州天正专利事务所有限公司33201专利代理师王兵杨东炜(51)Int.Cl.G06V40/10(2022.01)G06V10/40(2022.01)G06V10/74(2022.01)G06V10/764(2022.01)权利要求书3页说明书9页附图3页(54)发明名称基于多任务学习残差神经网络的行人重识别方法和系统(57)摘要一种基于多任务学习残差神经网络的行人重识别方法，包括：从公开数据集中获取场景的图片与行人的信息，根据标注的人物位置信息，生成人物的裁剪图与对应人物的身份信息；构建多任务学习残差神经网络；构建“分类‑检索‑二元分类”联合损失函数；基于数据集训练好多任务学习残差神经网络和“分类‑检索‑二元分类”联合损失函数；基于待识别的人物裁剪图，经过训练好的多任务学习残差神经网络获得人物视觉特征向量；基于人物视觉特征向量，经过特征匹配算法，得到人物在人物库中对应的人物信息。本发明还包括一种基于多任务学习残差神经网络的行人重识别系统。本发明解决了由于非结构环境下，人物遮挡、衣服相似的行人重识别的问题。CN115830633ACN115830633A权利要求书1/3页1.一种基于多任务学习残差神经网络的行人重识别方法，其特征在于，包括如下步骤：S1、构建数据集，即从公开数据集中，获取场景的图片与行人的信息，根据标注的人物位置信息，生成人物的裁剪图与对应人物的身份信息；S2、构建多任务学习残差神经网络，网络中包含骨干网络与多任务头，骨干网络即为残差神经网络，其各个网络层依次包括不同参数的残差块层，AveragePooling层，AveragePooling层是指平均池化层，多任务头包含deconv层、降维卷积层，deconv层是指反卷积层；S3、构建多任务学习残差神经网络后，构建“分类‑检索‑二元分类”联合损失函数；S4、基于数据集训练构建好的多任务学习残差神经网络和“分类‑检索‑二元分类”联合损失函数，得到训练好的多任务学习残差神经网络和训练好的“分类‑检索‑二元分类”联合损失函数；S5、基于待识别的人物裁剪图，经过训练好的多任务学习残差神经网络获得人物视觉特征向量；S6、基于人物视觉特征向量，经过特征匹配算法，得到人物在人物库中对应的人物信息。2.根据权利要求1所述的一种基于多任务学习残差神经网络的行人重识别方法，其特征在于，所属步骤S1中的公开数据集为TGRDB数据集，其数据包含训练集、验证集、录入样本库与待检索行人图片库。3.根据权利要求1所述的一种基于多任务学习残差神经网络的行人重识别方法，其特征在于，步骤S2所述的AveragePooling层是指平均池化层，deconv层是指反卷积层。4.根据权利要求3所述的一种基于多任务学习残差神经网络的行人重识别方法，其特征在于，所述步骤S2中，多任务学习残差神经网络依次包括输入层和五个卷积层，其中输入层图像大小为224×224×3，第一层包括一个卷积核，一个批归一化层，一个激活层，第二层包括一个最大池化层，滤波器尺寸为3×3，步长为2，与2组重复的第二卷积层，第三层包括2组重复的第三卷积层，第四层包括2组重复的第四卷积层，第五层包括2组重复的第五卷积层，第一层的卷积核为一个7×7卷积核，通道数为64，步长为2，填充为3，第二卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3×3，通道数为64，步长为1，第三卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3×3，通道数为128，步长为1，第四卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3×3，通道数为256，步长为1，第五卷积层依次包括一个卷积核，一个批量归一化层，一个卷积核，一个批量归一化层，一个激活层，各卷积核大小为3×3，通道数为512，步长为1，多任务头中deconv层是一个2×2的反卷积核，步长为2，降维卷积层是一个1×1的卷积核，步长为1。5.根据权利要求3所述的一种基于多任务学习残差神经网络的行人重识别方法，其特征在于，所述步骤S2中，多任务学习残差神经网络实现过程如下：