一种人体图像关键点姿态估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110443144A(43)申请公布日2019.11.12(21)申请号201910614512.X(22)申请日2019.07.09(71)申请人天津中科智能识别产业技术研究院有限公司地址300457天津市滨海新区天津经济技术开发区第二大街57号泰达MSD-G1-1001单元(72)发明人侯峦轩马鑫孙哲南赫然(74)专利代理机构天津市三利专利商标代理有限公司12107代理人韩新城(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书5页附图5页(54)发明名称一种人体图像关键点姿态估计方法(57)摘要本发明公开一种人体图像关键点姿态估计方法。包括步骤：对输入的训练图像预处理，用基于特征金字塔网络的行人检测网络对输入图像进行检测；将检测到的人体形成的边界框进行裁剪，只保留框内图像；将裁剪后图像输入到设计的模型中，进行人体姿态关键点估计。本发明可以将含有人体的输入图像进行关键点生成，并且生成估计处理后的图像中生成的人体关键点具有较高精度，较好保持了人体的骨架几何信息。CN110443144ACN110443144A权利要求书1/2页1.一种人体图像关键点姿态估计方法，其特征在于，包括以下步骤：步骤S1.将图像数据库中的图像数据预处理：首先，将原始图像送入已经训练好的特征金字塔网络FPN检测，只输出人体用边界框标记的人体图像；然后将输出的人体图像裁剪，形成预定格式大小，然后进行增强处理；步骤S2.通过训练得到能够对人体图像进行姿态估计以得到人体固件关键点图像的深度神经网络模型：利用步骤S1中已裁剪完的人体图像作为网络的输入，以训练集中的用xy轴坐标形式标出的json文件作为人体关键点标注信息像作为GroundTruth，训练深度神经网络模型中的全局网络和矫正网络，获得训练好的完成从人体图像到人体关键点图像的姿态估计的深度神经网络模型；其中，通过全局网络的ResNet50网络对输入的人体图像处理，得到不同尺寸的特征图输出，采用自底向上的U-Shape结构，将每一层特征图进行自底向上做采样后进行加和后，进行预测操作，其中，用与GroudTruth进行L2损失函数计算以进行损失约束；通过预测操作进行预定卷积步骤处理后，生成不同关键点的热力图，从而得到初始人体关键点；将全局网络中每一层加和的特征图，通过DilatedBottleneck后分别进行上采样，然后进行concat操作后通过Bottleneck，并采用L2损失约束，随后通过卷积进行热力图生成，修正初始的人体关键点，得到最终的人体关键点；模型迭代多次达到稳定后，完成模型的训练；步骤S3.使用训练好的深度神经网络模型，对测试数据集中的包含人体的图像进行姿态估计处理。2.根据权利要求1所述人体图像关键点姿态估计方法，其特征在于，所述特征金字塔网络FPN中的ROIPooling替换为ROIAlign。3.根据权利要求1所述人体图像关键点姿态估计方法，其特征在于，所述增强处理包括随机翻转、随机旋转、随机尺度。4.根据权利要求1所述人体图像关键点姿态估计方法，其特征在于，所述通过全局网络的ResNet50网络对输入的人体图像处理，得到不同尺寸的特征图输出的步骤包括以下步骤：使用标准高斯分布随机初始化ResNet50网络；将人体图像输入到包括四个残差块的ResNet50网络中，并且分别将不同conv特征的最后一个残差块表示为C2C3C4C5，其中，C2通道数为64，C3通道数为128，C4通道数为256，C5通道数为512，并且在每个残差快C2C3C4C5后添加卷积核1*1的卷积，并连接BN层和ReLU，使得特征通道数均为256，得到不同层的残差块定义为从而获得不同的尺寸的特征图输出。5.根据权利要求1所述人体图像关键点姿态估计方法，其特征在于，所述的深度神经网络模型的目标函数采用损失函数L2为：L2＝Ex,y～P(X,Y)||Fgenerate(x)-y||2其中，x为输入的真实人体图像，y为GroundTruth对应的热力图，Fgenerator为全局网络每个残差块对应输出的多个关键点的热力图，其中E代表L2范数在P(X,Y)分布下的数学期望，2CN110443144A权利要求书2/2页并且P(X,Y)为概率密度函数。3CN110443144A说明书1/5页一种人体图像关键点姿态估计方法技术领域[0001]本发明涉及图像处理技术领域，特别是涉及一种人体图像关键点姿态估计方法。背景技术[0002]人体图像关键点姿态估计，是指从一张含有人体的图像中对人体骨架上的关键点进行建模估计，人体关键点一般定义为：踝关节，左膝关节，左臀部，