一种基于增强全局信息注意力的多尺度监控行人重识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115393788A(43)申请公布日2022.11.25(21)申请号202210927259.5G06N3/08(2006.01)(22)申请日2022.08.03(71)申请人华中农业大学地址430070湖北省武汉市洪山区狮子山街1号(72)发明人朱容波郭志达刘浩李松泉(74)专利代理机构湖北武汉永嘉专利代理有限公司42102专利代理师刘琰(51)Int.Cl.G06V20/52(2022.01)G06V40/10(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书4页说明书15页附图5页(54)发明名称一种基于增强全局信息注意力的多尺度监控行人重识别方法(57)摘要本发明公开了一种基于增强全局信息注意力的多尺度监控行人重识别方法，包括以下步骤：构建行人监控的数据集，划分为训练集和测试集；构建基于增强全局信息注意力的多尺度行人重识别网络模型，该模型以多分支深度网络模型为基础架构提取局部特征，引入增强全局信息注意力机制，通过多尺度网络提取局部特征并使用注意力为局部特征赋予全局信息；输入训练集对模型进行训练，通过多次的目标函数计算，反向传播后调整参数，直到目标函数完成收敛；通过测试集进行测试；输入待识别的查询集，通过多尺度行人重识别网络模型进行识别，得到行人重识别的结果。本发明能够有效应用于安防场景下的行人重识别，解决安防监控下行人数据所带来的问题。CN115393788ACN115393788A权利要求书1/4页1.一种基于增强全局信息注意力的多尺度监控行人重识别方法，其特征在于，该方法包括以下步骤：步骤1、构建行人监控的数据集，对数据集进行预处理和数据增强后，将其划分为训练集和测试集；步骤2、构建基于增强全局信息注意力的多尺度行人重识别网络模型，该模型以多分支深度网络模型MGN为基础架构提取局部特征，引入增强全局信息注意力机制，通过多尺度网络提取局部特征并使用注意力为局部特征赋予全局信息，加强关键特征权重；其中，融合全局信息注意力机制RGA和卷积块注意力模块CBAM，将RGA的空间特征提取模块和通道特征提取模块中加入CBAM注意力相应机制，构建了增强全局空间信息注意力模块和增强全局通道信息注意力模块，两者组成增强全局信息注意力机制；步骤3、输入训练集对多尺度行人重识别网络模型进行训练，通过多次的目标函数计算，反向传播后调整参数，直到目标函数完成收敛，得到训练好的多尺度行人重识别网络模型；步骤4、通过测试集对训练好的多尺度行人重识别网络模型进行测试；步骤5、输入待识别的查询集，通过多尺度行人重识别网络模型进行识别，得到行人重识别的结果。2.根据权利要求1所述的基于增强全局信息注意力的多尺度监控行人重识别方法，其特征在于，所述步骤1中构建行人监控的数据集的方法为：行人监控的数据集包括采集的多张行人图像，每张行人图像对应一个行人ID，行人图像通过多台监控摄像头进行拍摄采集，包括至少2个拍摄俯视角度的摄像头、1个拍摄低光照条件的摄像头和1个平行视角的常态摄像头，每个行人至少被2个摄像头捕获；行人图像通过行人检测算法Yolov5进行裁剪边框；并向划分的测试集中加入一定数量的干扰图像。3.根据权利要求1所述的基于增强全局信息注意力的多尺度监控行人重识别方法，其特征在于，所述步骤2中基于增强全局信息注意力的多尺度行人重识别网络ERG‑MGN模型具体为：ERG‑MGN模型以MGN为基础架构，图片输入到ERG‑MGN模型前先统一进行resize操作，提取其RGB通道特征转换成一定像素大小的特征图；特征图输入模型后，特征图先后经过resnet50的conv1、conv2、conv3、conv4_2，其中在conv2和conv3层中间加入提出的EnhancedRGA注意力机制模块；引入EnhancedRGA注意力机制后，特征图在EnhancedRGA机制模块中进行了一系列的计算后获取到了响应的注意力并与原输入特征图进行加权，然后后进入conv3、conv4_2；在特征图从conv4_2输出后，模型分成了2条支路：分支1提取的是全局特征，使用的是resnet50的conv5，随后进行全局最大池化和1×1的卷积获取输出；分支2提取的是局部特征，首先使输入特征图通过resnet50的conv5，不进行下采样，并进行全局最大池化，随后的特征图又进入2个分支：part2分支、part3分支，即2次局部切割：part2分支为输入特征切割成2部分，并对2部分进行1×1的卷积获得相应输出；part3分支为输入特征切割成3部分，并对2部分进行1×1的卷积获得相应输出；最后，ERG‑MGN模型共得到8个输出的特征模块