神经渲染.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113222137A(43)申请公布日2021.08.06(21)申请号202110156872.7(51)Int.Cl.(22)申请日2021.02.04G06N3/08(2006.01)G06N20/00(2019.01)(30)优先权数据G06K9/62(2006.01)62/971,1982020.02.06US63/018,4342020.04.30US17/145,2322021.01.08US(71)申请人苹果公司地址美国加利福尼亚州(72)发明人单琦J·萨斯金德A·萨恩卡R·A·科尔伯恩E·杜邦M·A·鲍蒂斯塔·马丁(74)专利代理机构北京市金杜律师事务所11256代理人李兴斌权利要求书3页说明书18页附图10页(54)发明名称神经渲染(57)摘要本公开涉及神经渲染。本主题技术提供了一种用于在没有三维(3D)监督的情况下通过机器学习模型直接从图像学习神经场景表示的框架。在所公开的系统和方法中，可通过确保所学习的表示像真实3D场景那样变换来施加3D结构。例如，可提供用于执行场景表示相对于3D旋转的等变的损失函数。由于自然张量旋转可能不用于定义相对于3D旋转是等变的模型，因此公开了称为可逆剪切旋转的新操作，其具有所需的等变特性。在一些具体实施中，模型可用于从对象的图像生成对象的3D表示，诸如网格。CN113222137ACN113222137A权利要求书1/3页1.一种方法，所述方法包括：向机器学习模型提供描绘对象的视图的输入图像，所述机器学习模型已经基于训练对象与所述训练对象的模型生成的表示之间的旋转下的等变约束进行了训练；以及使用所述机器学习模型并基于所提供的输入图像生成输出图像或所述对象的三维表示中的至少一者，所述输出图像从与所述输入图像中所述对象的所述视图不同的旋转视图来描绘所述对象。2.根据权利要求1所述的方法，其中所述机器学习模型包括：逆渲染器；和前向渲染器。3.根据权利要求2所述的方法，其中生成从与所述输入图像中所述对象的所述视图不同的所述旋转视图来描绘所述对象的所述输出图像或所述对象的所述三维表示中的所述至少一者包括利用所述前向渲染器来生成从与所述输入图像中所述对象的所述视图不同的所述旋转视图来描绘所述对象的所述输出图像或所述对象的所述三维表示中的所述至少一者。4.根据权利要求3所述的方法，还包括基于所述输入图像利用所述逆渲染器生成所述对象的隐式表示。5.根据权利要求4所述的方法，其中所述前向渲染器基于由所述逆渲染器生成的所述隐式表示来生成从与所述输入图像中所述对象的所述视图不同的所述旋转视图来描绘所述对象的所述输出图像或所述对象的所述三维表示中的所述至少一者。6.根据权利要求5所述的方法，其中基于所述隐式表示生成从与所述输入图像中所述对象的所述视图不同的所述旋转视图来描绘所述对象的所述输出图像或所述对象的所述三维表示中的所述至少一者包括使所述对象的所述隐式表示旋转。7.根据权利要求6所述的方法，其中使所述对象的所述隐式表示旋转包括执行所述对象的所述隐式表示的剪切旋转。8.根据权利要求7所述的方法，其中所述三维表示包括显式三维表示，所述显式三维表示包括体素栅格、网格或点云中的至少一者。9.根据权利要求7所述的方法，其中所述对象的所述隐式表示包括自动编码器的张量或潜在空间。10.根据权利要求4所述的方法，其中基于所述输入图像利用所述逆渲染器生成所述对象的所述隐式表示包括在所述逆渲染器的单个前向传递中生成所述隐式表示。11.根据权利要求1所述的方法，还包括通过以下方式基于所述训练对象与所述训练对象的所述模型生成的表示之间的旋转下的所述等变约束来训练所述机器学习模型：向所述机器学习模型提供第一输入训练图像，所述第一输入训练图像描绘所述训练对象的第一视图；向所述机器学习模型提供第二输入训练图像，所述第二输入训练图像描绘所述训练对象的第二视图；基于所述第一输入训练图像生成所述训练对象的第一隐式表示；基于所述第二输入训练图像生成所述训练对象的第二隐式表示；使所述训练对象的所述第一隐式表示旋转；2CN113222137A权利要求书2/3页使所述训练对象的所述第二隐式表示旋转；基于所述对象的经旋转的所述第一隐式表示生成第一输出训练图像；基于所述对象的经旋转的所述第二隐式表示生成第二输出训练图像；将所述第一输入训练图像与所述第二输出训练图像进行比较；以及将所述第二输入训练图像与所述第一输出训练图像进行比较。12.根据权利要求11所述的方法，其中所述训练还包括基于所述第一输入训练图像与所述第二输出训练图像的所述比较以及所述第二输入训练图像与所述第一输出训练图像的所述比较来使损失函数最小化。13.根据权利要求12所述的方法，还包括：将所述第一隐