基于多尺度特征融合网络的二维手部姿态估计方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909496A(43)申请公布日2023.04.04(21)申请号202211503735.7(22)申请日2022.11.29(71)申请人深圳市龙华区龙为小学地址518000广东省深圳市龙华区龙华街道东环二路与熙和路交汇处东南侧申请人哈尔滨工业大学（深圳）(72)发明人吴锦涛吴晓军钟健平(74)专利代理机构深圳市添源创鑫知识产权代理有限公司44855专利代理师覃迎峰(51)Int.Cl.G06V40/20(2022.01)G06V10/774(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)权利要求书3页说明书8页附图3页(54)发明名称基于多尺度特征融合网络的二维手部姿态估计方法及系统(57)摘要本发明公开了一种基于多尺度特征融合网络的二维手部姿态估计方法及系统。方法包括：收集原始手部单张彩色图像组成数据集并进行预处理；对训练集进行数据扩充处理；构建基于二维高分辨率热力图的多尺度特征融合网络，用于进行二维手部姿态估计；训练所述多尺度特征融合网络；以及将待估计手部单张彩色图像送入训练完成后的所述多尺度特征融合网络中获得预测的手部关节点的二维手部姿态。本发明方法采用二维高分辨率热力图提供了更准确且丰富的邻近区域手部关节点之间的相对位置信息，并将不同尺度的手部姿态特征加以融合，能够有效地提高对二维手部关节点的检测准确度，提升目前二维手部姿态的估计效果和性能水平。CN115909496ACN115909496A权利要求书1/3页1.一种基于多尺度特征融合网络的二维手部姿态估计方法，其特征在于，所述方法包括以下步骤：收集原始手部单张彩色图像组成数据集，对所述数据集中手部关节点真实的三维坐标标注进行预处理；将预处理后的所述数据集中手部关节点真实的三维坐标标注按设定的比例划分为训练集、验证集和测试集，并对所述训练集进行数据扩充处理；构建基于二维高分辨率热力图的多尺度特征融合网络，所述多尺度特征融合网络包括特征提取器、第一多尺度特征融合模块和第二多尺度特征融合模块，所述特征提取器将输入的手部单张彩色图像进行特征提取后得到特征信号并输入所述第一多尺度特征融合模块，所述第一多尺度特征融合模块将所述特征信号进行不同尺度特征采样、融合处理后得到第一高分辨率热力图并输入所述第二多尺度特征融合模块，所述第二多尺度特征融合模块对所述第一高分辨率热力图进行不同尺度特征采样、融合处理后得到第二高分辨率热力图，将所述第二高分辨率热力图进行卷积处理后得到最终的二维手部姿态；训练所述多尺度特征融合网络，将数据扩充处理后的所述训练集分批送入所述多尺度特征融合网络，训练过程中，所述第一多尺度特征融合模块将得到的所述第一高分辨率热力图与人工生成的手部关节点真实热力图进行损失计算，所述第二多尺度特征融合模块获取的第二高分辨率热力图与人工生成的手部关节点真实热力图进行损失计算，根据双重损失计算结果反向传播优化所述多尺度特征融合网络参数；将待估计手部单张彩色图像送入训练完成后的所述多尺度特征融合网络中，获得所述多尺度特征融合网络预测的手部关节点的二维手部姿态。2.根据权利要求1所述的基于多尺度特征融合网络的二维手部姿态估计方法，其特征在于，对所述数据集中手部关节点真实的三维坐标标注进行预处理，具体包括：根据针孔成像原理将相机坐标系下的手部关节点真实的三维坐标标注转换到图像坐标系下；获取数据集中的摄像机内参数矩阵；根据图像坐标系到像素坐标系的转换函数关系和所述摄像机内参数矩阵将所述数据集中手部关节点真实的三维坐标标注转换为真实二维坐标。3.根据权利要求1所述的基于多尺度特征融合网络的二维手部姿态估计方法，其特征在于，对所述训练集进行数据扩充处理，具体包括：将所述训练集以绿幕为图片背景得到手部训练样本；对所述手部训练样本中的图像通过替换图片背景、改变图片亮度和改变图片对比度为所述手部训练样本中的图像提供三种额外的样例版本，得到数据扩充后的训练样本。4.根据权利要求1所述的基于多尺度特征融合网络的二维手部姿态估计方法，其特征在于，所述特征提取器包括一个卷积层、一个批归一化层和两个连续的残差模块，所述特征提取器将输入的原始手部单张彩色图像处理成256×256的尺寸再经过7×7×64的卷积核滤波后将分辨率降至128×128，再使用2个连续的残差模块将通道数放大至256得到128×128×256的高通道数特征信号，并输入所述第一多尺度特征融合模块中。5.根据权利要求4所述的基于多尺度特征融合网络的二维手部姿态估计方法，其特征在于，所述第一多尺度特征融合模块将输入的128×128×256的高通道数特征信号在进行2CN115909496A权利要求书2/3页下采样前分两路进行语义信