一种基于掩膜对齐与注意力机制的行人再识别方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111353385A(43)申请公布日2020.06.30(21)申请号202010076906.7(22)申请日2020.01.23(71)申请人广东工业大学地址510060广东省广州市越秀区东风东路729号大院(72)发明人刘畅邱卫根(74)专利代理机构北京集佳知识产权代理有限公司11227代理人黄忠(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06T5/50(2006.01)G06T7/11(2017.01)G06T7/194(2017.01)权利要求书3页说明书10页附图4页(54)发明名称一种基于掩膜对齐与注意力机制的行人再识别方法和装置(57)摘要本申请公开了一种基于掩膜对齐与注意力机制的行人再识别方法和装置，通过对待识别行人图像进行分割处理，得到包含前景掩膜的第一二值图像，进而得到前景掩膜的两个点的坐标；将待识别行人图像和两个坐标输入到预置MAST-ReIdCNN模型中进行特征提取，空域注意力模块和时域注意力模块对提取的特征进行特征筛选，筛选掉对识别贡献度低的特征以及杂乱的背景特征，保留贡献度高的特征，并添加时域和空域上的注意力机制，以提高识别准确率；将不同尺寸的特征图映射到同一特征空间，避免了行人未对齐而影响识别率的问题，解决了现有的行人再识别方法由于行人图像存在背景杂乱和行人未对齐等原因所导致的行人再识别的准确率不高的技术问题。CN111353385ACN111353385A权利要求书1/3页1.一种基于掩膜对齐与注意力机制的行人再识别方法，其特征在于，包括：对获取的待识别行人视频进行分帧处理，得到若干帧待识别行人图像；对所述待识别行人图像进行分割处理，得到包含前景掩膜的第一二值图像；基于所述第一二值图像得到所述前景掩膜的左上角和右下角两个点的坐标；将所述待识别行人图像和所述待识别行人图像对应的两个坐标输入到预置MAST-ReIdCNN模型，使得所述预置MAST-ReIdCNN模型中的空域注意力模块对第一池化层输出的特征图进行特征筛选，时域注意力模块对第二池化层输出的特征向量进行特征筛选，裁剪层基于目标卷积层输出的特征图大小和输入的所述两个坐标对所述目标卷积层输出的特征图进行分割，输出所述前景掩膜的特征图，第三池化层对所述前景掩膜的特征图进行处理，输出所述前景掩膜的特征向量，融合层对所述前景掩膜的特征向量和时域注意力模块输出的特征向量进行特征融合，输出待识别行人特征；计算所述待识别行人特征与预置图库集中的匹配图像的行人特征的欧式距离，将最小的所述欧式距离对应的所述匹配图像作为行人再识别结果。2.根据权利要求1所述的基于掩膜对齐与注意力机制的行人再识别方法，其特征在于，所述将所述待识别行人图像和所述待识别行人图像对应的两个坐标输入到预置MAST-ReIdCNN模型，之前还包括：构建MAST-ReIdCNN模型，所述MAST-ReIdCNN模型包括5个所述卷积层、4个所述第一池化层、1个所述第二池化层、1个所述第三池化层、1个所述裁剪层、1个所述融合层、4个所述空域注意力模块、1个所述时域注意力模块和损失函数。3.根据权利要求2所述的基于掩膜对齐与注意力机制的行人再识别方法，其特征在于，所述损失函数包括交叉损失函数和三元组损失函数。4.根据权利要求2所述的基于掩膜对齐与注意力机制的行人再识别方法，其特征在于，所述构建MAST-ReIdCNN模型，之后还包括：对获取的训练集中的训练图像进行分割处理，得到包含前景掩膜的第二二值图像；基于所述第二二值图像得到所述前景掩膜的左上角和右下角两个点的坐标；将所述训练图像和所述训练图像对应的两个坐标输入到所述MAST-ReIdCNN模型，对所述MAST-ReIdCNN模型进行训练；当所述MAST-ReIdCNN模型达到收敛条件时，得到训练好的所述MAST-ReIdCNN模型，将训练好的所述MAST-ReIdCNN模型作为所述预置MAST-ReIdCNN模型。5.根据权利要求1所述的基于掩膜对齐与注意力机制的行人再识别方法，其特征在于，所述预置MAST-ReIdCNN模型中的空域注意力模块对第一池化层输出的特征图进行特征筛选，包括：所述预置MAST-ReIdCNN模型中的所述空域注意力模块中的1×1卷积层对所述第一池化层输出的特征图进行第一卷积操作，输出第一卷积特征图；所述空域注意力模块中的3×3卷积层对所述第一卷积特征图进行第二卷积操作，输出第二卷积特征图；所述空域注意力模块中的1×1卷积层对所述第二卷积特征图进行第三卷积操作，输出第三卷积特征图；所述空域注意力模块中的sigmoid函数对所述第三卷积特征图进行逐点计算，得到权2CN111353385A权利