一种基于RGB图像的三维重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113763536A(43)申请公布日2021.12.07(21)申请号202111030947.3(22)申请日2021.09.03(71)申请人济南大学地址250022山东省济南市市中区南辛庄西路336号(72)发明人王海玲张菁张天驰(51)Int.Cl.G06T17/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书6页附图4页(54)发明名称一种基于RGB图像的三维重建方法(57)摘要本发明公开了一种手部三维建模的方法，具体包括手部检测；特征生成；手部三维重建三个步骤。该方法通过RGB图像实现手部三维重建，不需要使用手部的多视图图像，并利用深度学习技术实现从二维图像到三维手部模型的映射，替代了传统的几何方法和复杂的专业软件构建手部，通过深度学习的方法来提取特征，而不是利用几何线条去构建，采用目前公开的数据和一些合成的数据来进行训练，利用深度学习实现三维重建能达到建模快，精度高。CN113763536ACN113763536A权利要求书1/1页1.基于RGB图像的手部三维重建方法，其特征在于，具体包括下列步骤：(1)数据集选择的探索研究：本发明选择的是利用RGB图像实现手部三维重建，通过对RGB图像进行训练，以便更好的获取手部特征，数据集是真实的数据集，还会有一些合成的数据集，以便达到精确的训练结果；(2)手部检测：输入RGB图像，利用深度学习的手部检测算法去检测出图片中手部的位置，还会进行检测出单手、双手的操作，同时进行左右手的区分；(3)特征生成：在完成手部检测的步骤时，本发明利用2.5D‑Net神经网络生成2.5D热图，并提取低级特征，让二维关键点检测更加准确，以便生成更加精确的二维手部姿态估计，其次，把提取的低级特征放入到ResNet‑50网络里来产生高级特征；(4)手部三维重建：本发明利用图卷积神经网络实现手部三维重建，将生成的高级特征放入图卷积神经网络，在图卷积神经网络里估计手部网格的每个顶点坐标，将其以树的形式来存放，顶点坐标在图卷积神经网络里进行由粗糙到细化的图卷积操作，最后生成精确的手部三维网格来实现手部三维重建，本发明还可以利用生成的手部三维网格生成三维手部姿态估计。2.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，数据集的选择有真实的数据集，也有合成的数据集，数据集是RGB图像，而非RGB‑D图像。3.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，利用深度学习的算法来完成手部检测。4.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，利用神经网络来完成手部特征提取，而非通过深度图像或关键点检测来完成手部特征提取。5.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，利用图卷积神经网络实现手部三维重建，而非二维姿态估计或三维姿态估计生成手部三维重建。2CN113763536A说明书1/6页一种基于RGB图像的三维重建方法技术领域[0001]本发明涉及计算机视觉和计算机仿真领域，具体是指基于RGB图像的手部三维重建方法。背景技术[0002]随着虚拟现实、增强现实等三维技术的出现，人机交互的应用场景的要求在不断变化，它要求场景更加生动、人物角色也更加逼真，一切朝着复杂、逼真和高精度的要求在发展。与此同时，听觉交互和视觉交互等人机交互的方式已经不能够满足业界的需求。手是人类与环境互动的最自然的方式之一，这使得手在三维场景的人机交互中也起到同样重要的作用，而手部三维重建是实现手在三维场景下的人机交互这一应用下的基础。手部三维重建是指利用获取的手部空间信息，还原出手在三维场景下的三维模型。手部三维重建的目的是通过获取到的数据，恢复在三维场景下手的形状、姿态和精细的表面，以此来完成手的重建。[0003]随着深度摄像机的出现，基于RGB‑D图像的手部三维重建相继发展，但因为设备的价格昂贵，深度图像数据难以获得。由于RGB相机比深度摄像机应用广泛，RGB图像数据容易获得，所以采用RGB图像进行手部三维重建更方便。目前的人机交互的方式在一些领域已经取得了研究成果，比如语音识别、人脸识别、指纹识别、人体姿态识别等，这些人机交互的方式已经发展的比较成熟了。面部表情和言语在交流中起着重要的作用，重要的非言语信息也通过身体动作进行交流，特别是手和手指的动作，以强调我们的言语，阐明我们的思想，传达情感。手作为非语言的交流方式，手在人机交互中也起到了不可或缺的作用。当人们在无法用言语表达的情况下，通过手部动作就可以理解对方意图，从而完成交流。在人与物体进行接触的时候，手与物体的交互就能够达到交流。然而，随着虚拟现实、增强现实