图像重建模型的训练方法和虚拟场景渲染方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116071478A(43)申请公布日2023.05.05(21)申请号202310360351.2(22)申请日2023.04.06(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人徐东(74)专利代理机构华进联合专利商标代理有限公司44224专利代理师杨欢(51)Int.Cl.G06T15/00(2011.01)G06T3/40(2006.01)G06N3/09(2023.01)G06N3/0464(2023.01)权利要求书4页说明书24页附图7页(54)发明名称图像重建模型的训练方法和虚拟场景渲染方法(57)摘要本申请涉及一种基于人工智能技术的图像重建模型的训练方法和虚拟场景渲染方法。所述图像重建模型的训练方法包括：获取低分辨率样本图像和相应的标准高分辨率样本图像；通过生成网络对低分辨率样本图像进行解码，得到解码特征，并根据解码特征生成模拟高分辨率样本图像；通过判别网络，提取模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过判别网络提取模拟高分辨率样本图像中的低频信息，得到低频特征图；融合高频特征图和低频特征图，得到模拟高分辨率图像；基于模拟高分辨率图像和标准高分辨率样本图像，对图像重建模型进行对抗训练，以得到训练好的图像重建模型。采用本方法能够合理优化低分辨率贴图资源。CN116071478ACN116071478A权利要求书1/4页1.一种图像重建模型的训练方法，其特征在于，所述方法包括：获取低分辨率样本图像和相应的标准高分辨率样本图像；通过图像重建模型中的生成网络对所述低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像；通过所述图像重建模型中的判别网络，提取所述模拟高分辨率样本图像中的高频信息，得到高频特征图，以及通过所述判别网络提取所述模拟高分辨率样本图像中的低频信息，得到低频特征图；融合所述高频特征图和所述低频特征图，得到模拟高分辨率图像；基于所述模拟高分辨率图像和所述标准高分辨率样本图像，对所述图像重建模型进行对抗训练，以得到训练好的图像重建模型；其中，所述训练好的图像重建模型中的生成网络，用于提升输入的图像的分辨率。2.根据权利要求1所述的方法，其特征在于，所述通过图像重建模型中的生成网络对所述低分辨率样本图像进行解码处理，得到解码特征，并根据所述解码特征生成模拟高分辨率样本图像，包括：将所述低分辨率样本图像输入至所述生成网络中的首层网络层，并通过所述首层网络层中的多个感知器分别进行解码处理，输出多个初始的处理结果；将所述多个初始的处理结果输入至下一层网络层，并通过所述下一层网络层中的多个感知器分别进行解码处理，直至进行多个轮次的解码处理后，由末层网络层输出最终的处理结果；其中，所述多个轮次中的当前轮次输出的解码特征，是基于前一轮次输出的解码特征生成得到的；对所述最终的处理结果进行重建处理，得到模拟高分辨率样本图像。3.根据权利要求1所述的方法，其特征在于，所述通过所述图像重建模型中判别网络，提取所述模拟高分辨率样本图像中的高频信息，得到高频特征图，包括：确定所述图像重建模型中判别网络中设置的至少一个高频通道，并确定所述至少一个高频通道各自对应的第一过滤器；分别基于与所述至少一个高频通道各自对应的所述第一过滤器对所述模拟高分辨率样本图像进行低频信息的过滤处理，得到所述至少一个高频通道各自对应的第一通道特征图；对所述至少一个高频通道各自对应的第一通道特征图进行融合，得到高频特征图。4.根据权利要求1所述的方法，其特征在于，所述通过所述判别网络中提取所述模拟高分辨率样本图像中的低频信息，得到低频特征图，包括：确定所述图像重建模型中判别网络中设置的至少一个低频通道，并确定与所述至少一个低频通道各自对应的第二过滤器；分别基于与所述至少一个低频通道各自对应的所述第二过滤器对所述模拟高分辨率样本图像进行高频信息的过滤处理，得到所述至少一个低频通道各自对应的第二通道特征图；对所述至少一个低频通道各自对应的第二通道特征图进行融合，得到低频特征图。5.根据权利要求1所述的方法，其特征在于，所述基于所述模拟高分辨率图像和所述标准高分辨率样本图像，对所述图像重建模型进行训练，以得到训练好的图像重建模型，包2CN116071478A权利要求书2/4页括：将所述标准高分辨率样本图像输入至所述图像重建模型中判别网络，得到真实高分辨率图像；基于所述模拟高分辨率样本图像和所述标准高分辨率样本图像间的差异，构建与所述生成网络对应的第一损失函数，并基于所述模拟高分辨率图像和所述真实高分辨率图像间的差异，构建与所述判别网络对应的第二损失函数；基于所述第一损失函数和第二损失