室内场景光照估计模型、方法、装置、存储介质以及渲染方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110910486A(43)申请公布日2020.03.24(21)申请号201911192051.8(22)申请日2019.11.28(71)申请人浙江大学地址310013浙江省杭州市西湖区余杭塘路866号(72)发明人王锐鲍虎军李佰余(74)专利代理机构杭州天勤知识产权代理有限公司33224代理人曹兆霞(51)Int.Cl.G06T15/50(2011.01)权利要求书2页说明书6页附图3页(54)发明名称室内场景光照估计模型、方法、装置、存储介质以及渲染方法(57)摘要本发明的公开了一种室内场景基于单张图像的光照估计模型、方法、装置、存储介质，包括：自编码器，用于将由单张彩色低动态图像映射成的部分全景图的高维特征编码和解码成以估计全景图表示的室内场景光照信息；所述自编码器的网络参数由自编码器作为生成器与分类器组成的生成式对抗网络经训练确定。能够根据图像即可以快速估计室内场景光照信息，且室内场景光照信息全面可靠，利用该室内场景光照信息能够提高渲染效果的真实感。CN110910486ACN110910486A权利要求书1/2页1.一种室内场景基于单张图像的光照估计模型，其特征在于，包括：自编码器，用于将由单张彩色低动态图像映射成的部分全景图的高维特征编码和解码成以估计全景图表示的室内场景光照信息；所述自编码器的网络参数由自编码器作为生成器与判别器组成的生成式对抗网络经训练确定。2.如权利要求1所述的室内场景光照估计模型，其特征在于，所述自编码器网络参数的确定过程为；构建生成式对抗网络，所述生成式对抗网络包括生成器和判别器，所述生成器为自编码器，用于将输入的单张彩色低动态图像由高维特征编码和解码成估计全景图；所述判别器用来判别真实全景图和所述估计全景图之间的差距；构建损失函数，损失函数包括自编码器损失函数与对抗损失函数按照各自权重的乘积之和，其中，自编码器损失函数为估计全景图与真实全景图的平均绝对误差，对抗损失函数为自编码器输出的估计全景图为真伪的概率；以所述损失函数最小为目标，利用训练数据对所述生成式对抗网络的网络参数进行迭代优化，迭代优化结束后，所述自编码器的网络参数确定。3.如权利要求1所述的室内场景光照估计模型，其特征在于，所述自编码器采用卷积神经网络；所述判别器采用卷积神经网络。4.如权利要求1所述的室内场景光照估计模型，其特征在于，所述室内场景光照估计模型还包括：图像预处理单元，用于根据相机方向和视角大小对接收的单张彩色低动态图像进行映射获得部分全景图。5.如权利要求1或4所述的室内场景光照估计模型，其特征在于，所述室内场景光照估计模型还包括：光照信息精简单元，用于对所述自编码器输出的估计全景图进行扭曲变换和球谐变换，输出球谐函数系数，以获得精简的室内场景光照信息。6.如权利要求1所述的室内场景光照估计模型，其特征在于，自编码器的部分全景图表达为360°的经纬全景图。7.一种室内场景基于单张图像的光照估计方法，其特征在于，所述方法包括以下步骤：获取单张彩色低动态图像；利用权利要求1～6任一项所述的室内场景光照估计模型对单张彩色低动态图像进行估计，获得室内场景光照信息。8.一种室内场景基于单张图像的光照估计装置，其特征在于，所述装置包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现如权利要求7所述的室内场景光照估计方法所执行的操作。9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求7所述的室内场景光照估计方法所执行的操作。10.一种渲染方法，其特征在于，所述渲染方法包括：2CN110910486A权利要求书2/2页利用权利要求1～6所述的室内场景光照估计模型输出的室内场景光照信息进行渲染；或，利用权利要求7所述的室内场景光照估计方法获得的室内场景光照信息进行渲染；或，利用权利要求8所述的室内场景光照估计装置输出的室内场景光照信息进行渲染。3CN110910486A说明书1/6页室内场景光照估计模型、方法、装置、存储介质以及渲染方法技术领域[0001]本发明涉及光照估计及渲染技术领域，具体涉及一种室内场景基于单张图像的光照估计模型、方法、装置、存储介质以及渲染方法。背景技术[0002]在许多逆向绘制应用中，如增强现实，需要从真实场景中推断光照信息，这一直是一个热门和关键问题。伴随着智能手机、平板电脑、AR头盔、智能眼镜等产品的发展越来越快，AR的移动应用越来越多，光照估计方法的研究最近不断地涌现。在这些场景中，所预测的光照结果对于解决新插入的三维模型上的逼真再现是非常重要的。然而，准确的