一种用于行人重识别的数据增强方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112990144A(43)申请公布日2021.06.18(21)申请号202110484373.0(22)申请日2021.04.30(71)申请人德鲁动力科技（成都）有限公司地址610000四川省成都市高新区德华路333号1号楼16层1608号(72)发明人李学生刘炜徐奇伟(74)专利代理机构成都熠邦鼎立专利代理有限公司51263代理人曾克(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06T3/00(2006.01)G06N3/04(2006.01)权利要求书3页说明书10页附图7页(54)发明名称一种用于行人重识别的数据增强方法及系统(57)摘要本发明公开了一种用于行人重识别的数据增强方法及系统，经过数据增强后得到的输入图像，经过神经网络处理，能够得到一个图像的特征向量。该特征向量随后通过损失函数处理，得到整体的算法误差。根据误差，进行反向传播，完成一轮训练。本发明通过对人体指定部位进行Drop，增强了神经网络对于形态各异、遮挡程度各异的行人图像的重识别能力。其中，人体关键点检测用于在图像中检测到人体关键点的坐标。随后按照某种策略对人体进行基于关键点的拆分。再随后，在每一轮训练中，对所有图都丢弃相同的某一部分人体图像，以此达到数据增强的效果。CN112990144ACN112990144A权利要求书1/3页1.一种用于行人重识别的数据增强方法，其特征在于，包括以下步骤：S1.创建图像预设模板；S2.输入图像，并根据Openpose提取图像中的人体关键点；S3.根据图像预设模板与人体关键点对图像肢体部位进行拆分，得到十张肢体部分子图；S4.对十张肢体部分子图进行处理，并将处理后的十张肢体部分子图与输入的图像送入神经网络进行训练，分别提取其特征，得到十一张特征图；S5.将十一张特征图进行Pooling压缩后，做concatenate，连接为一个长向量；该长向量通过FC层计算权重，得到最后的特征向量；其中，所述神经网络的训练过程为：在每一轮训练中，将输入的图像送入神经网络进行训练，将处理后的十张肢体部分子图进行肢体部位随机丢弃，且每一张图都丢弃相同肢体部位的人体图像。2.根据权利要求1所述的一种用于行人重识别的数据增强方法，其特征在于，所述图像预设模板包括4个矩形块模板，包括：上臂下臂模板、大腿小腿模板、头部模板和躯干模板。3.根据权利要求1所述的一种用于行人重识别的数据增强方法，其特征在于，所述步骤S3具体包括以下子步骤：S301.根据人体关键点对人体拆分为：头、躯干、左上臂、左下臂、右上臂、右下臂、左大腿、左小腿、右大腿，右小腿10部分，并得到相应肢体部位的拆分字典；S302.根据每个肢体部位的拆分字典选择两个点作为参考点，得到参考点字典；S303.计算两个参考点之间的间距和宽，得到肢体部位的矩形模板，并将矩形模板进行变换，计算矩形模板坐标；S304.通过OpenCV的仿射变换将人像上的变换后的矩形模板填充到图像中，得到拆分的肢体部分子图。4.根据权利要求3所述的一种用于行人重识别的数据增强方法，其特征在于，所述步骤S303具体包括以下子步骤：S3031.以图像左上点为原点建立坐标轴，向右方为轴，向下方为轴；选择某一肢体部位的参考点字典，则参考点A坐标为，参考点B坐标为；S3032.计算两点之间间距，具体计算公式如下：S3033.计算线段的斜率，具体计算公式如下：S3034.计算线段与的比例，所述为表示矩形模板的高，具体计算公式如下：S3035.等比例变换下，计算变换后的矩形模板的宽，具体计算公式如下：2CN112990144A权利要求书2/3页其中，所述表示矩形模板的宽；S3036.根据斜边长和斜率，计算变换后的矩形模板CDEF的坐标；其中，表示和变换的距离；其中，表示和变换的距离；则矩形模板CDEF的坐标如下：C点坐标：；D点坐标：；E点坐标：；F点坐标：。5.根据权利要求1所述的一种用于行人重识别的数据增强方法，其特征在于，所述对十张肢体部分子图进行处理具体为：通过随机数生成器生成一个长度为10的二进制向量，所述二进制向量中只有一个数是0，其余都是1；并将10张子图与二进制向量对应位做乘法，得到处理后的肢体部分子图。6.一种用于行人重识别的数据增强系统，其特征在于，包括：图像预设模板模块，创建图像预设模板；图像采集模块，采集并输入图像；图像拆分模块，根据图像预设模板与人体关键点对图像肢体部位进行拆分，得到肢体部分子图；图像处理模块，对肢体部分子图进行处理，得到处理后的肢体部分子图；神经网络训练模块，对图像处理模块得到的处理后的肢体部分子图进行训练，得到特征图像；权重计算模块，将神经网络训练模块训练