图像渲染的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112184575A(43)申请公布日2021.01.05(21)申请号202010971444.5G06T15/50(2011.01)(22)申请日2020.09.16G06K9/62(2006.01)(71)申请人华为技术有限公司地址518129广东省深圳市龙岗区坂田华为总部办公楼(72)发明人李超陈濛(74)专利代理机构北京龙双利达知识产权代理有限公司11329代理人周乔王君(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)G06T7/593(2017.01)G06T7/90(2017.01)G06T15/20(2011.01)权利要求书5页说明书24页附图10页(54)发明名称图像渲染的方法和装置(57)摘要本申请提供了一种图像渲染的方法和装置，可以实现在低采样值的条件下获得高分辨率、高帧率的渲染图像。该方法包括：获取第一图像、第二图像和第三图像等连续的三帧图像；根据第一图像更新第二图像的光照图，得到第二图像更新后的光照图；将第二图像更新后的光照图输入超分去噪网络，得到第二图像的超分去噪图像；根据第二图像更新第三图像的光照图，得到第三图像更新后的光照图；将第三图像更新后的光照图输入超分去噪网络，得到第三图像的超分去噪图像；根据第二图像的超分去噪图像和第三图像的超分去噪图像获取目标时刻的初始插帧图像，目标时刻为第二图像和第三图像之间的时刻；将初始插帧图像输入双向插帧网络，得到目标时刻的插帧图像。CN112184575ACN112184575A权利要求书1/5页1.一种图像渲染的方法，其特征在于，包括：获取第一图像、第二图像和第三图像，所述第一图像、所述第二图像和所述第三图像为连续的三帧图像；根据所述第一图像更新所述第二图像的光照图，以得到所述第二图像更新后的光照图；将所述第二图像更新后的光照图输入超分去噪网络，以得到所述第二图像的超分去噪图像；根据所述第二图像更新所述第三图像的光照图，以得到所述第三图像更新后的光照图；将所述第三图像更新后的光照图输入超分去噪网络，以得到所述第三图像的超分去噪图像；根据所述第二图像的超分去噪图像和所述第三图像的超分去噪图像获取目标时刻的初始插帧图像，所述目标时刻为所述第二图像和所述第三图像之间的时刻；将所述初始插帧图像输入双向插帧网络，以得到所述目标时刻的插帧图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像更新所述第二图像的光照图，以得到所述第二图像更新后的光照图，包括：获取所述第二图像的光照图，所述第二图像的光照图包括多个像素点的颜色值，所述第二图像的光照图为直接光照图或间接光照图；获取第一像素点在所述第一图像中对应的第二像素点，所述第一像素点为所述多个像素点中的任一个；根据所述第一像素点的颜色值与所述第二像素点的颜色值，更新所述第一像素点的颜色值，以得到更新后的光照图。3.根据权利要求2所述的方法，其特征在于，当所述第二像素点的位置不在所述第一图像的网格节点上时，所述方法还包括：获取与所述第二像素点距离最近的四个像素点的颜色值，所述四个像素点在所述第一图像的网格节点上；根据所述四个像素点的颜色值获取所述第二像素点的颜色值。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一像素点的颜色值与所述第二像素点的颜色值，更新所述第一像素点的颜色值之前，所述方法还包括：确定所述第一像素点和所述第二像素点符合一致性，所述确定所述第一像素点和所述第二像素点符合一致性包括：获取所述第一像素点的深度值、所述第一像素点的法向量值、所述第一像素点的面片ID和所述第二像素点的深度值、所述第二像素点的法向量值、所述第二像素点的面片ID，所述第一像素点的深度值与所述第二像素点的深度值的差的平方小于第一阈值，所述第一像素点的法向量值与所述第二像素点的法向量值的差的平方小于第二阈值，所述第一像素点的面片ID与所述第二像素点的面片ID相等。5.根据权利要求2至4中任一项所述的方法，其特征在于，所述根据所述第一像素点的颜色值与所述第二像素点的颜色值，更新所述第一像素点的颜色值，包括：所述第一像素点更新后的颜色值为将所述第一像素点的颜色值乘以第一系数与将所2CN112184575A权利要求书2/5页述第二像素点的颜色值乘以第二系数之和。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述将所述第二图像更新后的光照图输入超分去噪网络，还包括：获取所述第二图像的深度图、所述第二图像的法向量图；将所述第二图像的深度图、所述第二图像的法向量图、所述第二图像更新后的光照图融合，以得到第一融合结果；将所述第一融合结果输入超分去噪网络。7.根据权利要求1至6中任一项所述的方法，其特征在