渲染图像获取方法、装置、系统和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108876764A(43)申请公布日2018.11.23(21)申请号201810490256.3(22)申请日2018.05.21(71)申请人北京旷视科技有限公司地址100190北京市海淀区科学院南路2号A座313(72)发明人马里千(74)专利代理机构北京市磐华律师事务所11336代理人高伟卜璐璐(51)Int.Cl.G06T7/00(2017.01)权利要求书2页说明书11页附图2页(54)发明名称渲染图像获取方法、装置、系统和存储介质(57)摘要本发明提供了一种渲染图像获取方法、装置、系统和存储介质，该方法包括：获取用于特定视觉任务训练的真实图像，并利用真实图像基于对抗学习训练渲染模型直到训练结束，渲染模型包括渲染器和分类器，分类器用于区分输入图像是真实的还是渲染得到的；获取渲染模型训练结束时渲染器采用的渲染参数作为最佳渲染参数，并采用渲染器基于最佳渲染参数生成用于特定视觉任务训练的最佳渲染图像。根据本发明实施例的渲染图像获取方法、装置、系统和存储介质利用对抗学习训练渲染器和分类器，使得能够针对特定逻辑的渲染器以及特定的计算机视觉任务全自动地选取效果最好的渲染参数，从而生成最佳渲染图像，能够有效且高效地提升计算机视觉任务的效果。CN108876764ACN108876764A权利要求书1/2页1.一种渲染图像生成方法，其特征在于，所述方法包括：获取用于特定视觉任务训练的真实图像，并利用所述真实图像基于对抗学习训练渲染模型直到训练结束，其中，所述渲染模型包括渲染器和分类器，所述分类器用于区分输入图像是真实的还是渲染得到的；以及获取所述渲染模型训练结束时所述渲染器采用的渲染参数作为最佳渲染参数，并采用所述渲染器基于所述最佳渲染参数生成用于所述特定视觉任务训练的最佳渲染图像。2.根据权利要求1所述的方法，其特征在于，所述利用所述真实图像基于对抗学习训练渲染模型直到训练结束包括：获取m个随机数，将所述m个随机数输入所述渲染器得到m个渲染图像，其中m为大于或等于1的整数；将所述m个渲染图像和所述真实图像中的n个图像分别输入所述分类器，得到m+n个分类结果，并基于所述m+n个分类结果计算所述分类器的损失函数，其中n为大于或等于1的整数；根据所述分类器的损失函数，采用梯度下降法更新所述分类器的参数，完成所述分类器的一次训练；计算所述m个渲染图像的每个渲染图像中每个像素值对所述渲染器当前采用的渲染参数的第一偏导数，并计算所述分类器的损失函数对输入所述分类器的每个渲染图像中每个像素值的第二偏导数；基于所述第一偏导数和所述第二偏导数计算当前渲染参数的梯度，并根据梯度下降法更新所述渲染器采用的渲染参数，从而完成所述渲染模型的一次训练；以及迭代上述步骤直到所述渲染模型训练结束。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一偏导数和所述第二偏导数计算渲染参数的梯度包括：将所述第一偏导数与所述第二偏导数进行乘法运算，以得到所述分类器的损失函数对所述当前渲染参数的第三偏导数作为所述当前渲染参数的梯度。4.根据权利要求3所述的方法，其特征在于，所述根据梯度下降法更新所述渲染器采用的渲染参数包括：将所述第三偏导数与学习率进行乘法运算，并将所述当前渲染参数与所述乘法运算的结果进行减法运算以得到更新后的渲染参数。5.根据权利要求2所述的方法，其特征在于，所述基于所述m+n个分类结果计算所述分类器的损失函数包括：基于所述m+n个分类结果中的每一个计算一个子损失函数，并将得到的m+n个子损失函数之和作为所述分类器的损失函数，或者将得到的m+n个子损失函数的平均值作为所述分类器的损失函数。6.根据权利要求2至5中任一项所述的方法，其特征在于，在所述渲染模型进行初次训练时所述渲染器采用的渲染参数是经验性的初始渲染参数。7.根据权利要求1至5中任一项所述的方法，其特征在于，所述渲染参数包括光照属性和材质属性。8.一种渲染图像生成装置，其特征在于，所述装置包括：2CN108876764A权利要求书2/2页训练模块，用于获取用于特定视觉任务训练的真实图像，并利用所述真实图像基于对抗学习训练渲染模型直到训练结束，其中，所述渲染模型包括渲染器和分类器，所述分类器用于区分输入图像是真实的还是渲染得到的；以及生成模块，用于获取所述渲染模型训练结束时所述渲染器采用的渲染参数作为最佳渲染参数，并采用所述渲染器基于所述最佳渲染参数生成用于所述特定视觉任务训练的最佳渲染图像。9.根据权利要求8所述的装置，其特征在于，所述训练模块利用所述真实图像基于对抗学习训练渲染模型直到训练结束包括：获取m个随机数，将所述m个随机数输入所述渲染器得到m个渲染图像，其中m为大于或等于1的整数；将所述m个渲染图像