模型训练方法、手势识别方法、装置、设备及介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116012872A(43)申请公布日2023.04.25(21)申请号202211325428.4(22)申请日2022.10.27(71)申请人济南博观智能科技有限公司地址250001山东省济南市高新区新泺大街1166号奥盛大厦3号楼17楼(72)发明人张鹏宇(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师王华(51)Int.Cl.G06V40/10(2022.01)G06V10/40(2022.01)G06V10/774(2022.01)权利要求书2页说明书11页附图5页(54)发明名称模型训练方法、手势识别方法、装置、设备及介质(57)摘要本申请公开了一种关节点旋转检测模型训练方法、装置、设备及介质，涉及图像处理技术领域，包括：获取人手图像数据，并提取第一手部关键点，以及利用反向动力学方法确定出各关节点的第一旋转轴角；将人手图像数据输入初始关节点旋转检测模型以输出六维旋转向量，并获取与六维旋转向量对应的第二旋转轴角；基于第一手部关键点和旋转矩阵确定出第二手部关键点；基于第一旋转轴角和第二旋转轴角以及基于第一手部关键点和第二手部关键点构建分别构建损失函数；利用总的损失函数对初始关节点旋转检测模型进行训练得到关节点旋转检测模型。通过构建关节点旋转轴角的损失函数和构建手部关键点的损失函数对模型进行训练，能够提高模型的稳定性和性能。CN116012872ACN116012872A权利要求书1/2页1.一种关节点旋转检测模型训练方法，其特征在于，包括：获取人手图像数据，并对所述人手图像数据进行关键点提取以得到第一手部关键点，以及基于所述第一手部关键点利用反向动力学方法对所述人手图像数据进行处理以得到人手各关节点的第一旋转轴角；将所述人手图像数据输入初始关节点旋转检测模型以输出六维旋转向量，并获取与所述六维旋转向量对应的第二旋转轴角；利用所述第二旋转轴角确定出旋转矩阵，并基于所述第一手部关键点和所述旋转矩阵确定出第二手部关键点；基于所述第一旋转轴角和所述第二旋转轴角构建第一损失函数，并基于所述第一手部关键点和所述第二手部关键点构建第二损失函数；利用所述第一损失函数和所述第二损失函数对所述初始关节点旋转检测模型进行训练，以得到训练后的关节点旋转检测模型。2.根据权利要求1所述的关节点旋转检测模型训练方法，其特征在于，所述获取人手图像数据，包括：获取利用三维扫描仪或RGB‑D相机采集到的人手图像数据。3.根据权利要求1所述的关节点旋转检测模型训练方法，其特征在于，所述对所述人手图像数据进行关键点提取以得到第一手部关键点，包括：提取所述人手图像数据中人手关节点的第一空间位置坐标和手指末端的第二空间位置坐标；基于所述第一空间位置坐标和所述第二空间位置坐标得到第一手部关键点。4.根据权利要求1所述的关节点旋转检测模型训练方法，其特征在于，所述获取与所述六维旋转向量对应的第二旋转轴角，包括：对所述六维旋转向量进行格拉姆‑施密特正交化处理以得到对应的第二旋转轴角。5.根据权利要求1所述的关节点旋转检测模型训练方法，其特征在于，所述利用所述第二旋转轴角确定出旋转矩阵，包括：基于所述第二旋转轴角中的旋转轴和旋转角，并利用罗德里格斯旋转公式确定出旋转矩阵。6.根据权利要求1至5任一项所述的关节点旋转检测模型训练方法，其特征在于，所述基于所述第一手部关键点利用反向动力学方法对所述人手图像数据进行处理以得到人手各关节点的第一旋转轴角的过程中，还包括：预先规定标准人手的初始姿态；基于所述初始姿态确定出与所述人手图像数据对应的第一旋转轴角。7.一种手势识别方法，其特征在于，包括：获取待识别的目标人手图像，并利用如权利要求1至6任一项所述的关节点旋转检测模型训练方法训练得到的关节点旋转检测模型对所述目标人手图像进行处理，以获取人手关节点的旋转轴角集合；将所述旋转轴角集合输入预设手势分类模型，以获取手势识别结果。8.一种关节点旋转检测模型训练装置，其特征在于，包括：图像数据处理模块，用于获取人手图像数据，并对所述人手图像数据进行关键点提取2CN116012872A权利要求书2/2页以得到第一手部关键点，以及基于所述第一手部关键点利用反向动力学方法对所述人手图像数据进行处理以得到人手各关节点的第一旋转轴角；旋转轴角获取模块，用于将所述人手图像数据输入初始关节点旋转检测模型以输出六维旋转向量，并获取与所述六维旋转向量对应的第二旋转轴角；手部关键点确定模块，用于利用所述第二旋转轴角确定出旋转矩阵，并基于所述第一手部关键点和所述旋转矩阵确定出第二手部关键点；损失函数构建模块，用于基于所述第一旋转轴角和所述第二旋转轴角构建第一损失函数，并基于所述第一手部关键点和所述第二手部关键点构建第二损