一种基于深度学习的图像高动态范围重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111292264A(43)申请公布日2020.06.16(21)申请号202010072803.3(22)申请日2020.01.21(71)申请人武汉大学地址430072湖北省武汉市武昌区珞珈山武汉大学(72)发明人肖春霞刘文焘(74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙)42222代理人齐晨涵(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书6页附图2页(54)发明名称一种基于深度学习的图像高动态范围重建方法(57)摘要本发明公开了一种基于深度学习的图像高动态范围重建方法，属于计算摄影学和数字图像处理领域。发明采用基于深度学习的方法建立了一个从单幅LDR图像到HDR图像的映射网络。方法首先从收集到的HDR数据集中分别依次生成LDR训练数据、亮度单位对齐的HDR样本标签和高亮度区域的掩码图像。然后构建并训练神经网络以得到具有LDR到HDR映射关系的网络模型。最后利用训练得到的生成网络模型，直接将LDR图像输入至网络模型，即可输出其重建的HDR图像。该发明可以从单幅普通数字图像中有效地重建出真实场景的动态范围，可用于普通数字图像的HDR模拟效果显示或为基于图像照明技术提供更逼真的渲染效果。CN111292264ACN111292264A权利要求书1/3页1.一种基于深度学习的图像高动态范围重建方法，其特征在于，包括以下步骤：步骤1，基于深度学习的方法建立一个从低动态范围图像到高动态范围图像的生成网络与一个判别高动态网络图像是否真实的判别网络；步骤2，对HDR数据集进行预处理以构成训练数据，数据预处理分为LDR数据的生成、HDR图像亮度单位的对齐和图像高光区域掩码的生成三个部分，预处理后得到的LDR数据作为神经网络的训练输入数据，对齐的HDR数据和高光掩码图像作为训练的样本标签数据；步骤3，基于三个损失函数训练神经网络，分别为HDR重建图像的尺度不变损失、高光区域分类的交叉熵损失和生成对抗损失。2.根据权利要求1所述的方法，其特征在于：所述低动态范围图像是指8位颜色深度、256色阶保存的低动态范围图像，所述高动态范围图像指以“.EXR”或“.HDR”等格式保存的接近真实场景明暗变化的高动态范围图像。3.根据权利要求1所述的方法，其特征在于：步骤1中所描述的神经网络包括生成网络和判别网络，其中生成网络为一个U-Net结构，网络接受一张LDR图像作为输入，经过由ResNet50模型构成的编码网络和6层“上采样+卷积层”模块构成解码网络后，分别输出一张HDR图像和高光掩码图像；所述判别器网络为一个由4层卷积层构成的全卷积网络，该判别器接受一张HDR图像与高光掩码图像作为输入，输出一张表征所输入的HDR图像为真实HDR图像或者是网络生成的虚假HDR图像的概率的特征图。4.根据权利要求1所述的方法，其特征在于：步骤2中所描述的数据预处理，其具体过程包括：步骤2.1，生成LDR训练样本输入，对于每一张HDR图像，分别使用色调映射算法和虚拟相机拍摄获取LDR图像，选择一种适当的色调映射算法，直接将HDR图像作为算法输入可得到对应的LDR图像输出；同时，通过构建虚拟相机来获取LDR图像，首先基于常用的数码单反相机确定虚拟相机动态范围的取值范围，对于每一次获取LDR图像都随机选取范围内的一个值作为该次模拟拍摄的相机的动态范围，然后虚拟相机根据输入的HDR图像进行自动曝光，对亮度超出虚拟相机动态范围的像素取边界值，再将其线性映射至LDR图像的低动态范围，最后，将所得到的图像从线性空间通过随机选择的近似相机响应函数映射为普通数字图像，得到所需要的LDR图像；步骤2.2，对齐HDR样本标签，对于保存在相对亮度域的HDR图像，在将其作为训练样本标签前，对齐它们的亮度单位；设原始HDR图像为H，LDR图像转换到线性空间并归一化到[0，1]，设为L，Hlc，Ll，c分别为图像在位置l，通道c处的像素值，其对齐方法为：其中为对齐后的HDR图像，ml，c定义为其中τ为[0，1]的常数，对齐后的HDR图像与其对应的LDR图像组成供神经网络训练的训练样本对；步骤2.3，生成高光掩码图像，得到对齐的HDR图像后，通过二值化的方式获取图像中高2CN111292264A权利要求书2/3页亮度区域的掩码图像，其公式为：其中为对齐后的HDR图像的通道均值图像，t为常数，该掩码图像中值为1的区域代表场景中拥有较高亮度的物体或表面，如光源、强光反射面等。5.根据权利要求1所示的方法，其特征在于：所示步骤3中描述的神经网络训练方法，其具体内容包括：该发明采用有监督学习的方式对权利要求2中的神经网络