一种光线追踪渲染连续帧的去噪方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114240785A(43)申请公布日2022.03.25(21)申请号202111551086.3(22)申请日2021.12.17(71)申请人山东大学地址250101山东省济南市高新区舜华路1500号(72)发明人王璐曾言徐延宁孟祥旭(74)专利代理机构济南圣达知识产权代理有限公司37221代理人杨琪(51)Int.Cl.G06T5/00(2006.01)G06T7/20(2017.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书9页附图4页(54)发明名称一种光线追踪渲染连续帧的去噪方法及系统(57)摘要本发明提供了一种光线追踪渲染连续帧的去噪方法及系统，包括：获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；将张量输入时空多尺度去噪网络，得到当前帧的去噪结果；其中，时空多尺度去噪网络包括：核预测网络和时空多尺度混合网络，时空多尺度混合网络联合时间滤波结果和空间多尺度混合结果，获得当前帧的去噪结果。在保证获得高质量去噪结果的前提下，消除现有技术存在的过模糊、着色走样和拖尾现象。CN114240785ACN114240785A权利要求书1/2页1.一种光线追踪渲染连续帧的去噪方法，其特征在于，包括：获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；将所述张量输入时空多尺度去噪网络，得到当前帧的去噪结果；其中，时空多尺度去噪网络包括核预测网络和时空多尺度混合网络；所述核预测网络用于提取所述张量的特征，得到逐像素空间核、逐像素时间核、时间混合权重和层间混合权重；所述时空多尺度混合网络将逐像素空间核应用于多尺度噪声图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，将所述逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果；使用时间混合权重，将空间多尺度混合结果和时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的去噪结果。2.如权利要求1所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述计算上一帧的扭曲重投影的具体方法为：创建一个存储像素坐标的二维张量并与所述双运动矢量直接相加，获得当前帧与上一帧的像素坐标映射关系；使用所述像素坐标映射关系，将所述上一帧的去噪结果与当前帧快速对齐，获得上一帧的扭曲重投影。3.如权利要求1所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述时空多尺度去噪网络的损失函数采用空间损失、时间损失和运动遮挡损失的和。4.如权利要求3所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述运动遮挡损失的具体计算方法为：获取当前帧和多个相邻帧的运动矢量、当前帧的去噪结果和对照图；基于所述当前帧和多个相邻帧的运动矢量，计算当前帧的时域渐进带权蒙版；使用哈达玛积将时域渐进带权蒙版分别与当前帧的去噪结果和对照图按矩阵对应像素相乘；基于蒙版后的去噪结果和对照图，计算运动遮挡损失。5.如权利要求4所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述当前帧的时域渐进带权蒙版为多个蒙版的加权和；所述蒙版为所述当前帧或相邻帧的双运动矢量与SVGF运动矢量的差值。6.如权利要求1所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述辅助特征包括当前帧的反照率、深度和法向。7.一种光线追踪渲染连续帧的去噪系统，其特征在于，包括：扭曲重投影计算模块，其被配置为：获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；拼接模块，其被配置为：获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；时空多尺度去噪模块，其被配置为：将所述张量输入时空多尺度去噪网络，得到当前帧的去噪结果；其中，时空多尺度去噪网络包括核预测网络和时空多尺度混合网络；2CN114240785A权利要求书2/2页所述核预测网络用于提取所述张量的特征，得到逐像素空间核、逐像素时间核、时间混合权重和层间混合权重；所述时空多尺度混合网络将所述逐像素空间核应用于多尺度噪声图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，将所述逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果；使用时间混合权重，将空间多尺度混合结果和时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的去噪结果。8.如权利要求7所述的一种光线追踪渲染连续帧的去噪系统，其特征在于，所述时空多尺度去噪网络的损失函数为空间损失、时间损失和运动遮挡损失的和。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该