基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113947547A(43)申请公布日2022.01.18(21)申请号202111215215.1(22)申请日2021.10.19(71)申请人东北大学地址110819辽宁省沈阳市和平区文化路3号巷11号(72)发明人高天寒葛艳京(74)专利代理机构沈阳东大知识产权代理有限公司21109代理人梁焱(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图2页(54)发明名称基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法(57)摘要本发明公开了基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，涉及图像降噪技术领域。其包括获取数据集后对其中图像数据预处理得到漫反射组件和镜面反射组件；构建多尺度核预测卷积神经网络模型，对其网络参数初始化得到初始化的核预测卷积神经网络模型；将漫反射组件和镜面反射组件输入初始化的多尺度核预测卷积神经网络模型，使用Adam算法根据L1损失函数计算的误差对其训练得到训练好的多尺度核预测卷积神经网络模型；使用训练好的模型对低采样数下蒙特卡洛渲染得到的噪点图的漫反射组件和镜面反射组件进行降噪，对降噪结果数据相加得到降噪图。用蒙特卡洛渲染方法渲染图像时只需要少数采样得到噪点图再利用本发明方法降噪得到降噪图。CN113947547ACN113947547A权利要求书1/2页1.一种基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，其特征在于，该方法包括如下步骤：步骤1：获取数据集，并对该数据集中的图像数据进行预处理得到漫反射组件和镜面反射组件；所述数据集包括低采样数下通过蒙特卡洛渲染得到的若干噪点图和高采样数下通过蒙特卡洛渲染得到的若干参考图；步骤2：构建多尺度核预测卷积神经网络模型并对其网络参数进行初始化得到初始化的核预测卷积神经网络模型；步骤3：将漫反射组件和镜面反射组件输入初始化的多尺度核预测卷积神经网络模型，使用Adam学习率算法根据L1损失函数计算的误差进行训练得到训练好的多尺度核预测卷积神经网络模型；步骤4：使用训练好的多尺度核预测卷积神经网络模型对低采样数下蒙特卡洛渲染得到的噪点图的漫反射组件和镜面反射组件进行降噪，并对降噪结果相加得到最终的降噪图。2.根据权利要求1所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，其特征在于，所述数据集中的每个图像中都包含漫反射颜色cdiffuse、镜面反射颜色cspecular、颜色方差、辅助特征以及对应的辅助特征方差，其中所述颜色方差包括漫反射颜色方差和镜面反射颜色方差所述辅助特征包括法线fnormal、反照率falbedo和深度fdepth。3.根据权利要求1所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，其特征在于，所述步骤1进一步包括如下步骤：步骤1.1：对蒙特卡洛渲染图进行重要性采样得到采样后的数据集；步骤1.2：对采样后的数据集进行预处理得到漫反射组件和镜面反射组件。4.根据权利要求3所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，其特征在于，所述对蒙特卡洛渲染图进行重要性采样的方法为：首先采用随机投掷飞镖法在蒙特卡洛渲染图上均匀采样得到预设数量和大小的块patches，然后选择基于颜色方差和法线方差的pdf函数作为重要性指标对均匀采样得到的这些块patches进行重要性采样；所述pdf函数的计算方式为分别计算每个像素处的颜色方差和法线方差然后相加，最后将函数值范围映射到0到1。5.根据权利要求3所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，其特征在于，所述对采样后的数据集进行预处理包括：将漫反射颜色除以反照率与一个极小数的和得到辐射照度颜色；针对镜面反射颜色数据进行了对数变换得到对数变换后的镜面反射颜色，以减小镜面反射颜色的变化范围；根据对漫反射颜色和镜面反射颜色进行的预处理，对数据集中的颜色方差进行相应的变换；将辅助特征中深度fdepth的数据范围映射到0～1范围。6.根据权利要求1所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，其特征在于，所述多尺度核预测卷积神经网络模型由结构相同的输入数据为漫反射组件的漫反射多尺度卷积神经网络模型和输入数据为镜面反射组件的镜面反射多尺度卷积2CN113947547A权利要求书2/2页神经网络模型组成；所述漫反射多尺度卷积神经网络模型和镜面反射多尺度卷积神经网络模型均由1层卷积核大小为5*5的卷积层、输入通道数和输出通道数相同的8个多尺度残差块和8层卷积核大小为5*5的卷积层顺序串联构成。7.根据权利要求6所述的基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法，其