一种实时构建实训数字孪生模型的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111369670A(43)申请公布日2020.07.03(21)申请号202010174216.5(22)申请日2020.03.13(71)申请人江西科骏实业有限公司地址330100江西省南昌市新建区子实路1589号(72)发明人罗军张筱澍杨卓(74)专利代理机构北京凯特来知识产权代理有限公司11260代理人郑立明韩珂(51)Int.Cl.G06T17/00(2006.01)G06T15/00(2011.01)G06T15/04(2011.01)G06T7/55(2017.01)G06T7/162(2017.01)权利要求书1页说明书4页附图1页(54)发明名称一种实时构建实训数字孪生模型的方法(57)摘要本发明公开了一种实时构建实训数字孪生模型的方法，包括：通过通用型移动设备的惯性测量单元，利用VisualInertialOdometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，并建立相应的三维网格模型；通过可微渲染器对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型；利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割算法中的代价函数，对三维网格模型中的所有面片进行判别，以去除三维网格模型的杂质；在实训工作中，通过实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分建模，并映射到之前的三维网格模型中。该方法具有普适性、易用性及精确性的优点。CN111369670ACN111369670A权利要求书1/1页1.一种实时构建实训数字孪生模型的方法，其特征在于，包括：步骤1、通过通用型移动设备内置的惯性测量单元采集拍摄目标物体时的姿态信息，从而估算目标物体的三维特征，并利用VisualInertialOdometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型；步骤2、通过可微渲染器对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型；步骤3、利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割算法中的代价函数，对三维网格模型中的所有面片进行判别，以判别含有杂质的片面，并从三维网格模型中去除，获得优化后的三维网格模型；步骤4、在实训工作中，通过通用型移动设备实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分采用步骤1～步骤3的方式建模，并映射到之前获得的优化后的三维网格模型中。2.根据权利要求1所述的一种实时构建实训数字孪生模型的方法，其特征在于，所述通用型移动设备为智能手机或者平板电脑。3.根据权利要求1所述的一种实时构建实训数字孪生模型的方法，其特征在于，所述惯性测量单元包括加速度计与陀螺仪。4.根据权利要求1所述的一种实时构建实训数字孪生模型的方法，其特征在于，所述估算目标物体的三维特征的步骤包括：步骤11、通过通用型移动设备；根据姿态信息计算每一个连续影像帧拍摄时的位置与旋转角度，同时抽取连续影像帧的特征点，并计算出目标物体相应特征点的三维坐标，异步构建连续影像帧的特征点数据库；步骤12、判断从目标物体中提取的特征点总数目是否达到要求，若是，则转入步骤15；若否，则转入步骤13；步骤13、通过后处理计算程序根据姿态信息计算离散影像帧的拍摄时的位置与旋转角度，同时抽取离散影像帧的高维特征点，并计算出目标物体相应特征点的三维坐标，构建离散影像帧的特征点数据库；步骤14、将离散影像帧的特征点数据库与连续影像帧的特征点数据库匹配并合并，获得合并后的特征点数据库；步骤15、通过VisualInertialOdometry技术，结合获得的特征点数据库，恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型。5.根据权利要求4所述的一种实时构建实训数字孪生模型的方法，其特征在于，在步骤4中，通用型移动设备利用已经获得的特征点数据库实时识别拍摄的其他连续影像帧是否包含目标物体，若是，则估计目标物体在影像帧中的位置，并抽取相应特征点以检测目标物体是否与优化后的三维网格模型发生变化；当拍摄到包含目标物体在优化后的三维网格模型缺失部分的连续影像帧时，根据估计得到的目标物体在影像帧中的位置，自动通过照片拍摄方式拍摄离散影像帧，并利用离散影像帧构建目标物体缺失部分的三维网格模型；即，从离散影像帧抽取缺失部分的特征点，并计算相应特征点的三维坐标，构建离散影像帧的特征点数据库，通过VisualInertialOdometry技术构建缺失部分的三维网格模型。2CN111369670A说明书1/4页一种实时构建实训数字孪生模型的方法技术领域[0001]