光照估计方法、装置以及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116152075A(43)申请公布日2023.05.23(21)申请号202111375282.X(22)申请日2021.11.19(71)申请人华为技术有限公司地址518129广东省深圳市龙岗区坂田华为总部办公楼(72)发明人周世奇刘超方伟田莉毛(74)专利代理机构北京润泽恒知识产权代理有限公司11319专利代理师王洪(51)Int.Cl.G06T5/00(2006.01)G06T15/50(2011.01)G06T19/00(2011.01)权利要求书4页说明书23页附图7页(54)发明名称光照估计方法、装置以及系统(57)摘要本申请提供一种光照估计方法、装置以及系统，涉及增强现实领域，可以实现对场景中的光照信息的准确估计，该方法包括：接收第一电子设备发送的多帧第一图像，多帧第一图像是第一电子设备在第一时间以不同曝光参数拍摄的第一电子设备所在场景的多帧图像；获取第一电子设备的位姿信息；获取与第一电子设备的位姿信息匹配的多帧第二图像，多帧第二图像与多帧第一图像的场景相同但拍摄角度不同；根据多帧第一图像和多帧第二图像，得到场景的高动态范围全景图像，高动态范围全景图像用于提取场景在第一时间的光照信息，场景在第一时间的光照信息用于渲染在第一电子设备上显示的虚拟物体。CN116152075ACN116152075A权利要求书1/4页1.一种光照估计方法，其特征在于，所述方法包括：接收第一电子设备发送的多帧第一图像，所述多帧第一图像是所述第一电子设备在第一时间以不同曝光参数拍摄的所述第一电子设备所在场景的多帧图像；获取所述第一电子设备的位姿信息；获取与所述第一电子设备的位姿信息匹配的多帧第二图像，所述多帧第二图像与所述多帧第一图像的场景相同但拍摄角度不同；根据所述多帧第一图像和所述多帧第二图像，得到所述场景的高动态范围全景图像，所述高动态范围全景图像用于提取所述场景在所述第一时间的光照信息，所述场景在所述第一时间的光照信息用于渲染在所述第一电子设备上显示的虚拟物体。2.根据权利要求1所述的方法，其特征在于，所述获取与所述第一电子设备的位姿信息匹配的多帧第二图像，包括：根据所述第一电子设备的位姿信息，从预设图像库中匹配得到所述多帧第二图像；其中，所述预设图像库包括来自于第一电子设备和/或至少一个第二电子设备拍摄的多帧图像。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述多帧第一图像和所述多帧第二图像，得到所述场景的高动态范围全景图像，包括：根据所述多帧第一图像，生成高动态范围局部图像；根据所述多帧第二图像，生成低动态范围全景图像；将所述高动态范围局部图像的光照信息，迁移至所述低动态范围全景图像，得到所述场景的高动态范围全景图像。4.根据权利要求3所述的方法，其特征在于，所述获取所述第一电子设备的位姿信息，包括：根据所述多帧第一图像，生成低动态范围局部图像；根据所述低动态范围局部图像，确定所述第一电子设备的位姿信息。5.根据权利要求4所述的方法，其特征在于，所述根据所述多帧第二图像，生成低动态范围全景图像，包括：将所述低动态范围局部图像的光照信息，分别迁移至所述多帧第二图像，得到多帧第三图像；根据所述多帧第三图像，生成所述低动态范围全景图像。6.根据权利要求5所述的方法，其特征在于，所述根据所述多帧第三图像，生成所述低动态范围全景图像，包括：根据所述多帧第三图像，得到低动态范围残缺图像；对所述低动态范围残缺图像进行图像补全处理，生成所述低动态范围全景图像。7.根据权利要求6所述的方法，其特征在于，所述对所述低动态范围残缺图像进行图像补全处理，生成所述低动态范围全景图像，包括：将所述低动态范围残缺图像输入至深度学习模型中，获取所述深度学习模型输出的所述低动态范围全景图像。8.根据权利要求3至7任一项所述的方法，其特征在于，所述将所述高动态范围局部图像的光照信息，迁移至所述低动态范围全景图像，得到所述场景的高动态范围全景图像，包2CN116152075A权利要求书2/4页括：将所述高动态范围局部图像和所述低动态范围全景图像输入至风格迁移网络，获取所述风格迁移网络输出的所述场景的高动态范围全景图像；其中，所述风格迁移网络用于将所述高动态范围局部图像的光照信息，迁移至所述低动态范围全景图像，以获取所述高动态范围全景图像。9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括以下至少一项：根据所述高动态范围全景图像，确定主光源方向；或者，根据所述高动态范围全景图像，确定球谐系数，根据所述球谐系数确定所述场景的环境光强度和主光源强度；或者，根据所述高动态范围全景图像，确定环境纹理图，所述环境纹理图用于具有镜面反射材质的虚拟物体对所述场景的纹理进行镜面反射。10.根