基于引导先验的纹理映射系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114399610A(43)申请公布日2022.04.26(21)申请号202210012054.4(51)Int.Cl.(22)申请日2022.01.06G06T17/20(2006.01)G06T15/04(2011.01)(30)优先权数据G06T19/20(2011.01)17/159,3002021.01.27US(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人京东美国科技公司(72)发明人严庆安杜锋郭复胜刘享军周辉(74)专利代理机构中科专利商标代理有限责任公司11021代理人杨静权利要求书4页说明书18页附图13页(54)发明名称基于引导先验的纹理映射系统和方法(57)摘要用于三维(threedimensional，3D)模型纹理化的系统，包括计算装置，该计算装置用于：指示相机拍摄对象的图像；基于图像构建对象的3D模型；使用图像的关键帧对3D模型进行纹理化，获得纹理化3D模型；通过将纹理化3D模型投影到关键帧的相机姿态生成引导图像；对于每个引导图像和关键帧对：基于其对应关系修改引导图像和关键帧，获得增强引导图像和扭曲图像，将增强引导图像和扭曲图像组合，获得协调图像，并将协调图像的颜色投影到3D模型，获得纹理化3D模型。CN114399610ACN114399610A权利要求书1/4页1.一种三维3D模型纹理化系统，包括计算装置以及与所述计算装置通信的图像拍摄装置，所述计算装置包括处理器和存储有计算机可执行代码的存储装置，所述计算机可执行代码在所述处理器上执行时用于：指示所述图像拍摄装置拍摄对象的多个图像，其中所述多个图像包括m个关键帧，m为正整数；基于所述多个图像，构建所述对象的3D模型，并定义所述m个关键帧的相机姿态；使用所述m个关键帧对所述3D模型进行初始纹理化，获得初始纹理化3D模型；通过将所述初始纹理化3D模型投影到所述m个关键帧中相应关键帧的相机姿态，生成m个引导图像中的每个引导图像；以及对于所述m个引导图像中的第i引导图像和所述m个关键帧中的第i关键帧：基于所述第i引导图像和所述第i关键帧的对应关系，修改所述第i引导图像和所述第i关键帧，以获得第i增强引导图像和第i扭曲图像；组合所述第i增强引导图像和所述第i扭曲图像，以获得第i协调图像，并将来自所述第i协调图像的颜色投影到所述3D模型，以获得纹理化3D模型。2.根据权利要求1所述的系统，其中，所述计算机可执行代码用于使用KinectFusion构建所述3D模型，以及使用基于混合的技术对所述3D模型进行初始纹理化。3.根据权利要求1所述的系统，其中，所述计算机可执行代码用于通过以下方式修改所述第i引导图像和所述第i关键帧：为所述第i引导图像中的每个像素在所述第i关键帧中搜索像素，并将所述第i引导图像中的每个像素的颜色替换为所述第i关键帧中对应像素的颜色，以获得所述第i增强引导图像；以及基于所述第i增强引导图像，优化所述第i关键帧的密集流场，以获得所述第i扭曲图像。4.根据权利要求3所述的系统，其中，所述计算机可执行代码用于通过以下方式组合所述第i增强引导图像和所述第i扭曲图像：分别对所述第i引导图像和所述第i扭曲图像进行拉普拉斯金字塔处理，以获得六级第i引导金字塔和六级第i关键帧金字塔，并将所述第i关键帧金字塔的第六级替换为所述第i引导金字塔的第六级，以获得所述第i协调图像。5.根据权利要求4所述的系统，其中，所述在所述第i关键帧中搜索像素通过以下方式执行：模糊所述第i关键帧，以获得第i模糊图像；以及对于所述第i引导图像中的每个目标像素：在所述第i引导图像中定义围绕所述目标像素的引导块；在所述第i模糊图像中搜索与所述引导块最为匹配的模糊块，所述模糊块围绕模糊像素；以及定义关键帧像素，其中，所述第i关键帧中所述关键帧像素的坐标与所述第i模糊图像中所述模糊像素的坐标相同，用所述关键帧像素的颜色替换所述第i引导图像中所述目标像素的颜色，以获得所述第i增强引导图像。6.根据权利要求5所述的系统，其中所述目标块的尺寸范围为3×3像素到5×5像素。7.根据权利要求6所述的系统，其中，在所述第i模糊图像中的搜索区域中进行所述搜索，所述搜索区域的尺寸范围为(20～100)×(20～100)个像素；所述搜索区域具有中心像2CN114399610A权利要求书2/4页素，所述第i模糊图像中所述中心像素的坐标与所述第i引导图像中所述目标像素的坐标相同。8.根据权利要求7所述的系统，其中，所述搜索区域的尺寸为50×50像素。9.根据权利要求1所述的系统，其中，所述计算机可执行代码用于对于所述3D模型的每个三角面，通过以