基于单目图像生成三维对象模型的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114283246A(43)申请公布日2022.04.05(21)申请号202210217354.6(22)申请日2022.03.07(71)申请人中国科学院自动化研究所地址100190北京市海淀区中关村东路95号(72)发明人胡俊星孙哲南王云龙张鸿文任民(74)专利代理机构北京华夏泰和知识产权代理有限公司11662代理人李永叶(51)Int.Cl.G06T17/00(2006.01)G06N3/04(2006.01)权利要求书4页说明书16页附图9页(54)发明名称基于单目图像生成三维对象模型的方法(57)摘要本公开涉及一种基于单目图像生成三维对象模型的方法，该方法包括：对单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块；对每个对象图块进行特征提取，得到第一特征图和第二特征图，二者具有相同的通道数且第一特征图的像素规模小于第二特征图的像素规模；根据第一特征图，对参数化对象模型的相机、姿态和形状参数进行初始化，得到初始对象模型；根据初始化的相机、姿态和形状参数以及第二特征图，生成图结构对应的图节点特征；根据初始对象模型的顶点坐标关系，生成图结构对应的邻接矩阵；将图节点特征和邻接矩阵输入至参数预先训练好的图神经网络模型中，输出回归预测参数；根据回归预测参数渲染得到三维对象模型。CN114283246ACN114283246A权利要求书1/4页1.一种基于单目图像生成三维对象模型的方法，其特征在于，包括：对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块；对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，所述第一特征图和所述第二特征图具有相同的通道数且所述第一特征图的像素规模小于所述第二特征图的像素规模；根据所述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型；根据初始化的相机参数、姿态参数和形状参数以及所述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征；根据所述初始对象模型的顶点坐标之间的关系，生成所述图结构对应的邻接矩阵；将所述图节点特征和所述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与所述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数；以及根据所述回归预测参数来渲染得到与每个对象图块对应的三维对象模型。2.根据权利要求1所述的方法，其特征在于，所述根据初始化的相机参数、姿态参数和形状参数以及所述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征，包括：对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；将所述第一坐标投影集合变换至与所述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；对所述第二坐标投影集合中各个采样顶点的坐标投影和所述第二特征图进行图特征提取，得到图结构的初始图节点特征；将所述初始图节点特征与初始化的相机参数、姿态参数和形状参数进行拼接，得到所述图结构的图节点特征。3.根据权利要求1所述的方法，其特征在于，根据所述初始对象模型的顶点坐标之间的关系，生成所述图结构对应的邻接矩阵，包括：对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；根据所述第一坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到所述图结构的邻接矩阵；或者，对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；将所述第一坐标投影集合变换至与所述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；根据所述第二坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到所述图结构的邻接矩阵；或者，2CN114283246A权利要求书2/4页对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；根据所述第二坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到所述图结构的邻接矩阵。4.根据权利要求1所述的方法，其特征在于，所述对每个对象图块进行特