用于增强现实的光照估计.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113302665A(43)申请公布日2021.08.24(21)申请号201980013548.0马万钧保罗·德伯韦克(22)申请日2019.10.16(74)专利代理机构中原信达知识产权代理有限(85)PCT国际申请进入国家阶段日责任公司112192020.08.14代理人李宝泉周亚荣(86)PCT国际申请的申请数据(51)Int.Cl.PCT/US2019/0565182019.10.16G06T19/00(2011.01)G06T19/20(2011.01)(87)PCT国际申请的公布数据G06T15/50(2011.01)WO2021/076122EN2021.04.22G06N3/04(2006.01)(71)申请人谷歌有限责任公司G06N3/08(2006.01)地址美国加利福尼亚州(72)发明人克洛伊·勒让德尔劳伦特·沙博内尔克里斯蒂娜·彤康斯坦丁·尼古拉斯·约翰·佐措斯权利要求书3页说明书26页附图9页(54)发明名称用于增强现实的光照估计(57)摘要描述了实现在电子计算设备处针对在增强现实(AR)环境中渲染的场景的至少一个图像获得在第一时间段捕获的场景光照估计的系统、方法和计算机程序产品。场景光照估计可以至少包括与场景相关联的第一图像测量。实现方式可以包括在电子计算设备处确定在第二时间段与场景相关联的第二图像测量，确定第一图像测量和第二图像测量的函数。基于所确定的函数，实施方式还可以包括触发部分光照估计更新的计算或触发全部光照估计更新的计算，以及在电子计算设备的屏幕上针对场景使用部分光照估计更新或全部光照估计更新来渲染场景。CN113302665ACN113302665A权利要求书1/3页1.一种计算机实现的方法，所述方法包括：在电子计算设备处针对在增强现实(AR)环境中渲染的场景的至少一个图像获得在第一时间段捕获的场景光照估计，所述场景光照估计至少包括与所述场景相关联的第一图像测量；在所述电子计算设备处确定在第二时间段与所述场景相关联的第二图像测量，所述第二时间段在所述第一时间段之后发生；在所述电子计算设备处确定所述第一图像测量和所述第二图像测量的函数；基于所确定的函数，在所述电子计算设备处触发部分光照估计更新的计算或触发全部光照估计更新的计算；以及使用所述部分光照估计更新或所述全部光照估计更新在所述电子计算设备的屏幕上针对所述场景渲染所述场景。2.根据权利要求1所述的方法，其中：所述第一图像测量和所述第二图像测量包括对所述场景的相应周围光强度测量，并且如果所确定的函数高于预定阈值并且所述第一时间段和所述第二时间段之间流逝的时间超出阈值流逝时间，则触发所述全部光照估计更新的计算，所述全部光照估计更新包括在即将到来的时间段针对所述场景的高动态范围(HDR)光照估计的计算。3.根据权利要求2所述的方法，其中：所述函数是所述第一图像测量与所述第二图像测量的比率，并且所述全部光照估计更新使用至少一个神经网络来计算所述场景的HDR光照估计。4.根据权利要求1所述的方法，其中：所述第一图像测量和所述第二图像测量包括与所述电子计算设备相关联的描绘所述场景的相应6‑DoF姿势测量，并且如果所确定的函数低于预定阈值并且在所述第一时间段与所述第二时间段之间的流逝时间低于阈值流逝时间，则触发所述部分光照估计更新的计算，所述部分光照估计更新至少包括用于在所述场景中显示的方向性光配置修改。5.根据权利要求1所述的方法，其中，所述部分光照估计更新表示根据所述函数生成对所述场景的逐渐照明变化的线性内插的光照估计。6.根据权利要求1所述的方法，其中，所述部分光照估计更新估计所述至少一个图像的平均光强度。7.根据权利要求1所述的方法，进一步包括确定从所述第一时间段到所述第二时间段与所述场景相关联的姿势变化的发生；响应于确定所述姿势变化是否高于旋转阈值水平或高于平移阈值水平，触发高动态范围(HDR)光照估计的计算；以及生成针对所述场景的更新的光照估计；根据所述更新的光照估计来渲染所述场景。8.根据权利要求7所述的方法，其中，所述旋转阈值水平和所述平移阈值水平为所述电子计算设备配置生成用于以至少一个光源照亮所述场景的更新的高动态范围(HDR)光照估计的计算频率。9.根据权利要求1所述的方法，其中，所述全部光照估计更新表示针对至少一个方向性2CN113302665A权利要求书2/3页光源、至少一个环境图和多个球谐系数的配置。10.一种系统，包括：相机，所述相机被配置成捕获多个帧；至少一个处理器；以及存储器，所述存储器存储指令，所述指令在由所述至少一个处理器执行时使所述系统：从表示包括虚拟内容的场景的所述多个帧获得针对第一帧捕获的场景光照估计，所述场景光照估计至少包括所