素材的迁移方法和装置、数据处理方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114612641A(43)申请公布日2022.06.10(21)申请号202011418614.3(22)申请日2020.12.07(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人潘健雄(74)专利代理机构北京博浩百睿知识产权代理有限责任公司11134专利代理师谢湘宁张文华(51)Int.Cl.G06T19/20(2011.01)G06T15/00(2011.01)权利要求书3页说明书18页附图8页(54)发明名称素材的迁移方法和装置、数据处理方法(57)摘要本申请公开了一种素材的迁移方法和装置、数据处理方法。其中，该方法包括：从第一图像中提取第一三维物体的第一素材贴图；接收对第二三维物体进行贴图的贴图指令；响应贴图指令，采用素材迁移模块将第一素材贴图进行迁移，得到第二三维物体的第二素材贴图，其中，素材迁移模块构建了不同款式的三维物体之间的语义迁移关系；将第二素材贴图渲染到第二三维物体上。本发明解决了现有技术中在设计物品的三维图像的过程中，可以将二维图像的素材通过深度学习网络生成出对应的三维模型贴图，然后将该三维模型贴图重新渲染回物品的三维模型，由于上述素材的迁移仅限于针对相同款式物品之间的迁移，导致素材的迁移过程效率低的技术问题。CN114612641ACN114612641A权利要求书1/3页1.一种素材的迁移方法，其特征在于，包括：从第一图像中提取第一三维物体的第一素材贴图；接收对第二三维物体进行贴图的贴图指令，其中，所述贴图指令用于指示需要将所述第一素材贴图中的素材替换到所述第二三维物体的表面上，所述第一三维物体与所述第二三维物体的款式不同；响应所述贴图指令，采用素材迁移模块将所述第一素材贴图进行迁移，得到所述第二三维物体的第二素材贴图，其中，所述素材迁移模块构建了不同款式的三维物体之间的语义迁移关系；将所述第二素材贴图渲染到所述第二三维物体上。2.根据权利要求1所述的方法，其特征在于，所述语义迁移关系用于表征位于不同款式的三维物体上的图像区域之间的刚体几何变换。3.根据权利要求1所述的方法，其特征在于，从第一图像中提取第一三维物体的第一素材贴图，包括：分割所述第一图像，获取所述第一图像中的所述第一三维物体的物体图像和分割掩膜；采用素材迁移网络模型对所述分割掩膜进行处理，生成所述第一三维物体上的素材像素坐标图；基于所述第一三维物体上的素材像素坐标图，采集所述第一三维物体的素材，生成所述第一素材贴图，其中，所述的素材像素坐标图的形状与所述第一素材贴图的形状相同。4.根据权利要求3所述的方法，其特征在于，在采用素材迁移网络模型对所述分割掩膜进行处理之前，所述方法还包括：将所述第一图像上的每个像素的坐标进行归一化处理，得到所述第一图像的图像坐标；将所述第一图像的图像坐标填充到所述物体图像的所述分割掩膜中。5.根据权利要求3所述的方法，其特征在于，在采用素材迁移网络模型对所述分割掩膜进行处理，生成所述第一三维物体上的素材像素坐标图之前，所述方法还包括：构建所述迁移网络模型，该步骤包括：获取训练数据，其中，所述训练数据为基于计算机图形学渲染算法处理得到的三维图像样本和素材贴图样本；采用神经网络模型对所述训练数据进行训练，生成素材迁移模型。6.根据权利要求3所述的方法，其特征在于，在生成所述第一素材贴图之后，所述方法还包括：对所述第一素材贴图进行素材补全。7.根据权利要求1所述的方法，其特征在于，在采用素材迁移模块将所述第一素材贴图进行迁移，得到所述第二三维物体的第二素材贴图之前，所述方法还包括：对所述第一三维物体和所述第二三维物体分别进行语义分割，得到所述第一三维物体的第一组件集合，以及所述第二三维物体的第二组件集合，其中，所述组件集合由三维物体的区块包围盒构成；获取所述第一组件集合与所述第二组件集合之间的刚体包围矩阵，所述刚体包围矩阵记载了所述第一组件集合中的区块包围盒与所述第二组件集合中的区块包围盒之间的语2CN114612641A权利要求书2/3页义迁移关系；基于所述第一组件集合与所述第二组件集合之间的刚体包围矩阵，生成所述素材迁移模块，其中，所述素材迁移模块记录了所述第一组件集合与所述第二组件集合中各个组件之间的语义迁移关系矩阵。8.根据权利要求1所述的方法，其特征在于，在将所述第二素材贴图渲染到所述第二三维物体上之前，所述方法还包括：去除所述第二素材贴图上的光影褶皱信息。9.一种素材的迁移方法，其特征在于，包括：在显示界面中展示第一图像和第二图像，其中，所述第一图像中展示物体为第一三维物体，所述第二图像中展示的物体为第二三维物体，且所述第一三维物体与所述第二三维物体的款式不同；选中所述第一图像，并从所