图像处理方法、装置、设备、存储介质以及程序产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112669431A(43)申请公布日2021.04.16(21)申请号202011610672.6(22)申请日2020.12.30(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层申请人百度(美国)有限责任公司(72)发明人卢飞翔刘宗岱张良俊(74)专利代理机构北京市铸成律师事务所11313代理人邓海鸿杨瑾瑾(51)Int.Cl.G06T15/04(2011.01)G06T17/00(2006.01)G06N3/08(2006.01)权利要求书2页说明书9页附图5页(54)发明名称图像处理方法、装置、设备、存储介质以及程序产品(57)摘要本公开公开了图像处理方法、装置、设备、存储介质及程序产品，涉及图像处理技术领域。具体实现方案为：从包括目标对象的图像中，获取目标对象的至少一个部件的待处理图像；将至少一个部件的待处理图像作为结点元素，利用结点元素构建目标对象的所有部件的关联图；将关联图输入到图神经网络模型，利用图神经网络模型输出目标对象的所有部件的纹理补全的图像。本公开实施例可针对目标对象生成高质量的完整的三维纹理贴图，能够显著降低三维纹理重建的成本，实现目标对象全方位的仿真渲染。CN112669431ACN112669431A权利要求书1/2页1.一种图像处理方法，包括：从包括目标对象的图像中，获取所述目标对象的至少一个部件的待处理图像；将所述至少一个部件的待处理图像作为结点元素，利用所述结点元素构建所述目标对象的所有部件的关联图；将所述关联图输入到图神经网络模型，利用所述图神经网络模型输出所述目标对象的所有部件的纹理补全的图像。2.根据权利要求1所述的方法，其中，所述将所述关联图输入到图神经网络模型，利用所述图神经网络模型输出所述目标对象的所有部件的纹理补全的图像，包括：在所述图神经网络模型的各层结构中，将所述关联图中的各个结点元素分别与所述关联图中的所有结点元素进行关系聚合操作，得到所述各个结点元素对应的关系聚合张量；分别将所述各个结点元素对应的关系聚合张量进行解码操作，得到所述各个结点元素对应的部件的纹理补全的图像；将所述各个结点元素对应的部件的纹理补全的图像组合，构成所述目标对象的所有部件的纹理补全的图像。3.根据权利要求2所述的方法，其中，所述将所述关联图中的各个结点元素分别与所述关联图中的所有结点元素进行关系聚合操作，得到所述各个结点元素对应的关系聚合张量，包括：对所述关联图中的各个结点元素中的待处理图像分别进行特征提取，得到所述各个结点元素对应的特征张量；将所述各个结点元素对应的特征张量分别与所述关联图中的所有结点元素的聚合张量进行关系聚合操作，得到所述各个结点元素对应的关系聚合张量。4.根据权利要求1至3中任一项所述的方法，所述方法还包括：利用掩膜对包括所有部件的样本对象的图像进行遮挡；将利用遮挡后的图像构成的关联图作为输入信息，将所述包括所有部件的样本对象作为参照输出信息，对所述图神经网络模型进行训练。5.根据权利要求1至3中任一项所述的方法，所述方法还包括：利用所述目标对象的所有部件的纹理补全的图像，构建所述目标对象的三维模型。6.一种图像处理装置，包括：获取单元，用于从包括目标对象的图像中，获取所述目标对象的至少一个部件的待处理图像；第一构建单元，用于将所述至少一个部件的待处理图像作为结点元素，利用所述结点元素构建所述目标对象的所有部件的关联图；处理单元，用于将所述关联图输入到图神经网络模型，利用所述图神经网络模型输出所述目标对象的所有部件的纹理补全的图像。7.根据权利要求6所述的装置，其中，所述处理单元包括：聚合子单元，用于在所述图神经网络模型的各层结构中，将所述关联图中的各个结点元素分别与所述关联图中的所有结点元素进行关系聚合操作，得到所述各个结点元素对应的关系聚合张量；解码子单元，用于分别将所述各个结点元素对应的关系聚合张量进行解码操作，得到2CN112669431A权利要求书2/2页所述各个结点元素对应的部件的纹理补全的图像；组合子单元，用于将所述各个结点元素对应的部件的纹理补全的图像组合，构成所述目标对象的所有部件的纹理补全的图像。8.根据权利要求7所述的装置，其中，所述聚合子单元用于：对所述关联图中的各个结点元素中的待处理图像分别进行特征提取，得到所述各个结点元素对应的特征张量；将所述各个结点元素对应的特征张量分别与所述关联图中的所有结点元素的聚合张量进行关系聚合操作，得到所述各个结点元素对应的关系聚合张量。9.根据权利要求6至8中任一项所述的装置，所述装置还包括训练单元，所述训练单元用于：利用掩膜对包括所有部件的样本对象的图像进行遮挡；将利用遮挡后的图像构成的关联图作