图像生成模型训练方法以及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112184611A(43)申请公布日2021.01.05(21)申请号202011211891.7(22)申请日2020.11.03(71)申请人支付宝（杭州）信息技术有限公司地址310013浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人李顺恺王萌程远徐富荣高生兵葛官法程丹妮朱旻芸杨路光(74)专利代理机构北京智信禾专利代理有限公司11637代理人吴肖肖(51)Int.Cl.G06T5/50(2006.01)G06T15/00(2011.01)权利要求书3页说明书13页附图5页(54)发明名称图像生成模型训练方法以及装置(57)摘要本说明书实施例提供图像生成模型训练方法以及装置，其中所述图像生成模型训练方法包括：获取目标对象的至少两张第一样本图像以及第一样本基准图像；计算每张第一样本图像相对于所述第一样本基准图像的第一样本位姿变换矩阵；将所述每张第一样本图像进行深度估计，获得所述每张第一样本图像的第一样本深度图像；基于所述第一样本图像、所述第一样本位姿变换矩阵以及所述第一样本深度图像对初始图像生成模型进行模型训练，获得针对所述目标对象的三维图像的图像生成模型。CN112184611ACN112184611A权利要求书1/3页1.一种图像生成模型训练方法，包括：获取目标对象的至少两张第一样本图像以及第一样本基准图像；计算每张第一样本图像相对于所述第一样本基准图像的第一样本位姿变换矩阵；将所述每张第一样本图像进行深度估计，获得所述每张第一样本图像的第一样本深度图像；基于所述第一样本图像、所述第一样本位姿变换矩阵以及所述第一样本深度图像对初始图像生成模型进行模型训练，获得针对所述目标对象的三维图像的图像生成模型。2.根据权利要求1所述的图像生成模型训练方法，所述基于所述第一样本图像、所述第一样本位姿变换矩阵以及所述第一样本深度图像对初始图像生成模型进行模型训练，获得针对所述目标对象的三维图像的图像生成模型，包括：将所述第一样本图像、所述第一样本位姿变换矩阵、第一样本深度图像组成训练样本集；将所述训练样本集中的训练样本输入所述初始图像生成模型的编码模块，生成中间三维形变向量；将所述中间三维形变向量输入所述初始图像生成模型的解码模块进行解码，获得所述目标对象的中间三维图像；确定所述中间三维图像在所述第一样本位姿变换矩阵对应的拍摄视角的中间深度图像；计算所述中间深度图像和所述样本深度图像的误差，并根据计算结果对所述初始图像生成模型进行迭代训练，获得所述图像生成模型。3.根据权利要求1所述的图像生成模型训练方法，还包括：获取所述目标对象的第一图像以及基准图像；计算所述第一图像相对于所述基准图像的位姿变换矩阵；将所述第一图像进行深度估计，获得所述第一图像的深度图像；将所述位姿变换矩阵、所述深度图像以及所述第一图像输入所述图像生成模型进行三维重建，获得所述目标对象的目标三维图像。4.根据权利要求3所述的图像生成模型训练方法，所述将所述位姿变换矩阵、所述深度图像以及所述第一图像输入所述图像生成模型进行三维重建，获得所述目标对象的目标三维图像，包括：将所述位姿变换矩阵、所述深度图像以及所述第一图像输入所述图像生成模型的编码模块进行特征编码，获得三维形变向量；将所述三维形变向量输入所述图像生成模型的解码模块进行解码，获得所述目标对象的所述目标三维图像。5.根据权利要求1所述的图像生成模型训练方法，所述计算每张第一样本图像相对于所述第一样本基准图像的第一样本位姿变换矩阵，包括：对所述每张第一样本图像进行关键点检测，获得第一关键点集合，并对所述第一样本基准图像进行关键点检测，获得基准关键点集合；将所述第一关键点集合中第一关键点与所述基准关键点集合中的基准关键点进行关键点匹配，获得关键匹配点集合；2CN112184611A权利要求书2/3页基于所述关键匹配点集合，计算所述第一样本图像相对于所述第一样本基准图像的第一样本位姿变换矩阵。6.根据权利要求1所述的图像生成模型训练方法，所述将所述每张第一样本图像进行深度估计，获得所述每张第一样本图像的第一样本深度图像，包括：将所述每张第一样本图像输入深度图像模型进行深度估计，获得所述每张第一样本图像的第一样本深度图像。7.根据权利要求6所述的图像生成模型训练方法，所述深度图像模型，通过如下方式进行训练：获取所述目标对象的至少两张第二样本图像以及第二样本基准图像；计算每张第二样本图像相对于所述第二样本基准图像的第二样本位姿变换矩阵；将所述每张第二样本图像输入初始深度图像模型进行深度估计，获得所述每张第一样本图像的训练深度图像；基于所述第二样本图像与所述第二样本基准图像之间的关键匹配点，确定所述关键匹配点对应的深度值；计