自适应尺度特征融合的二维人体姿态估计方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115761798A(43)申请公布日2023.03.07(21)申请号202211425899.2G06N3/08(2023.01)(22)申请日2022.11.15G06N3/0464(2023.01)G06N3/048(2023.01)(71)申请人长春理工大学地址130022吉林省长春市卫星路7186号长春理工大学南区科技大厦b16(72)发明人于翠红韩成张超张棋(74)专利代理机构吉林长春新纪元专利代理有限责任公司22100专利代理师王薇(51)Int.Cl.G06V40/10(2022.01)G06V10/82(2022.01)G06V10/80(2022.01)G06V10/77(2022.01)G06T3/40(2006.01)权利要求书4页说明书9页附图2页(54)发明名称自适应尺度特征融合的二维人体姿态估计方法(57)摘要本发明的涉及自适应尺度特征融合的二维人体姿态估计方法，其特征在于：将使用标准的二维人体姿态估计数据集，用于衡量模型参数调优效果的损失函数结合使用了热图损失、分组损失，并且借助Adam优化器进行网络模型参数的梯度下降式优化。解决了拥挤人群场景中人体姿态估计存在的区域遮挡、复杂运动、尺度变化等干扰问题；为了增强拥挤人群场景中二维人体姿态估计网络结构的适应性和泛化能力，利用自适应池化、特征融合以及注意力机制等联合操作，对二维人体姿态估计网络得到的特征信息进行自适应增强，有效地提高深度神经网络的人体区域定位能力以及骨骼关节提取能力。CN115761798ACN115761798A权利要求书1/4页1.自适应尺度特征融合的二维人体姿态估计方法，其特征在于网络模型的参数构建过程，其主干网络结构具体实现步骤如下：步骤S1、使用非线性二维插值算法对原始场景平面图像进行尺寸缩放处理，以此产生二维人体姿态估计网络模型的人体姿态输入图像Pc，使得人体姿态输入图像Pc的特征通道数为3、特征分辨率为（8×IRs）×（8×IRs）；步骤S2、将人体姿态输入图像Pc传递至高分辨率网络HRNet的特征提取模块，从而得到四组特征分支：高分辨率分支特征F0、高分辨率分支特征F1、低分辨率分支特征F2、低分辨率分支特征F3，同时，高分辨率分支特征F0的特征通道数为CHs、特征分辨率为（8×IRs）×（8×IRs），高分辨率分支特征F1的特征通道数为2×CHs、特征分辨率为（4×IRs）×（4×IRs），低分辨率分支特征F2的特征通道数为4×CHs、特征分辨率为（2×IRs）×（2×IRs），低分辨率分支特征F3的特征通道数为8×CHs、特征分辨率为IRs×IRs；步骤S3、将低分辨率分支特征F2传递至自适应特征增强模块FAM，从而得到低分辨率增强特征A1，并且使得低分辨率增强特征A1的特征通道数为4×CHs、特征分辨率为（2×IRs）×（2×IRs）；步骤S4、将低分辨率分支特征F3传递至自适应特征增强模块FAM，从而得到低分辨率增强特征A0，并且使得低分辨率增强特征A0的特征通道数为8×CHs、特征分辨率为IRs×IRs；步骤S5、使用步长为2的3×3卷积核对低分辨率增强特征A0进行反卷积而得到低分辨率采样特征U0，并且低分辨率采样特征U0的特征通道数为4×CHs、特征分辨率为（2×IRs）×（2×IRs）；步骤S6、利用逐通道相加方式将低分辨率增强特征A1与低分辨率采样特征U0融合成为尺度混加特征M0，并且尺度混加特征M0的特征通道数为4×CHs、特征分辨率为（2×IRs）×（2×IRs）；步骤S7、使用步长为2的3×3卷积核对尺度混加特征M0进行反卷积而得到低分辨率采样特征U1，并且低分辨率采样特征U1的特征通道数为2×CHs、特征分辨率为（4×IRs）×（4×IRs）；步骤S8、利用逐通道相加方式将高分辨率分支特征F1与低分辨率采样特征U1融合成为尺度混加特征M1，并且尺度混加特征M1的特征通道数为2×CHs、特征分辨率为（4×IRs）×（4×IRs）；步骤S9、使用步长为2的3×3卷积核对尺度混加特征M1进行反卷积而得到低分辨率采样特征U2，并且低分辨率采样特征U2的特征通道数为CHs、特征分辨率为（8×IRs）×（8×IRs）；步骤S10、利用逐通道相加方式将高分辨率分支特征F0与低分辨率采样特征U2融合成为尺度混加特征M2，并且尺度混加特征M2的特征通道数为CHs、特征分辨率为（8×IRs）×（8×IRs）；步骤S11、将低分辨率增强特征A0和尺度混加特征M0传递至空间注意力融合模块SAM，从而得到注意力融合特征S0，并且注意力融合特征S0的特征通道数为4×CHs、特征分辨率为（2×IRs）×（2×IRs）；步骤S12、将注意力融合特征S0和尺度混加