基于多分支网络的空间环境高动态范围成像方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998141A(43)申请公布日2022.09.02(21)申请号202210642198.8(22)申请日2022.06.07(71)申请人西北工业大学地址710072陕西省西安市友谊西路127号(72)发明人张艳宁孙瑾秋周宸董皓王东亚黄剑朱宇(74)专利代理机构西北工业大学专利中心61204专利代理师金凤(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)权利要求书2页说明书6页附图1页(54)发明名称基于多分支网络的空间环境高动态范围成像方法(57)摘要本发明提供了一种基于多分支网络的空间环境高动态范围成像方法，输入存在一定运动与噪声的多帧低动态图像，经过网络处理后输出无鬼影、不含噪声的高质量高动态图像，基于深度学习的多帧高动态范围成像方法通过神经网络提取图像特征，最终生成无鬼影、无噪声的高动态范围图像。本发明解决了现有的主流高动态成像方法仍然存在的诸多技术难题，比如无法完全消除运动图像造成的鬼影，处理时忽视了图像中存在的噪声，在处理空间图像时效果不佳等问题，使网络可以处理不同区域的亮度和噪声分布，具有空域变换性，在通道维度强化有效特征，抑制存在运动目标、细节缺失的低质量区域特征，进而获得更好的去鬼影效果。CN114998141ACN114998141A权利要求书1/2页1.一种基于多分支网络的空间环境高动态范围成像方法，其特征在于包括下述步骤：(a)仿真图像数据集构造在不反光的黑色背景场景下，采集复杂光照仿真数据：首先设置距离大于1000km的点状光源，在目标表面生成高亮极暗区域，然后在固定的光源照射下旋转目标，并在设定的相机视角下对场景进行渲染，初步得到一组具有相同曝光、不同姿态的空间图像序列，生成适用于空间环境成像研究的仿真图像数据集；(b)网络输入预处理选取同一目标三张{I1，I2，I3}在不同曝光下采集图像，在相同位置按照256×256分割得到低动态图像序列L＝{L1，L2，L3}，将低动态图像序列L通过伽马变换映射到高动态域，得到对应的高动态图像序列H＝{H1，H2，H3}，将图像L1，L2，L3，H1，H2，H3沿颜色通道维度进行拼接后生成通道数为6的输入矩阵(L，H)，将输入矩阵中各个通道值归一化至0‑1区间后，送入多分支高动态范围成像网络f；(c)构建多分支高动态范围成像网络多分支高动态范围成像网络的处理过程为：式中代表网络估计出的高动态范围图像，同样被归一化到0‑1区间，多分支高动态范围成像网络f由条件子网络，融合子网络和权重子网络构成，三部分网络并行处理，融合子网络负责提升图像的动态范围，条件子网络与权重子网络调整融合网络的中间结果，各网络共同作用生成最终图像；(d)损失函数设计将网络生成的高动态图像进行色调映射，计算融合损失，再使用全变分损失衡量图像的水平梯度变化，网络的总损失函数为两部分损失之和；(e)多分支高动态范围成像网络训练对多分支高动态范围成像网络使用设计的损失函数进行训练，采用Kaiming方法初始化权值；优化器选取为Adam优化器；超参数β1设置为0.9，超参数β2设置为0.999；批尺寸选取为16；图像块尺寸选取为256；学习率为2×10‑4，直至网络达到收敛条件，即可得到训练好的多分支高动态范围成像网络。2.根据权利要求1所述的基于多分支网络的空间环境高动态范围成像方法，其特征在于：所述融合子网络结构如下：融合子网络使用UNet网络结构将图像序列(L，H)的特征分解为不同尺度的特征，提取多尺度信息，多尺度信息经过网络重建处理初步生成16位的高动态图像，作为该子网络的输出；融合子网络具有三个编码器分支，分别接收相同尺寸、不同曝光的图像(Li，Hi)作为输入，其中i＝1，2，3，分别经过下采样提取获得每种曝光图像的特征；之后沿通道维度拼接各分支图像特征，获得初步的融合特征，并使用两个挤压‑激励模块强化融合特征中的有效特征；将强化后的特征继续下采样，然后送入融合器，通过串联的多个残差块提取融合特征的细节信息，在提取过程中条件子网络对每个残差块的中间结果进行调整；随后，融合器将提取后的特征送入解码器对特征进行上采样，最终使用一个卷积层生成3通道的HDR图像，该2CN114998141A权利要求书2/2页图像与权重子网络的输出结合后形成网络的最终结果；条件子网络结构如下：条件子网络使用潜在信息最丰富的中等曝光图像(L2，H2)作为多分支高动态范围成像网络的输入，经过三个卷积层生成指导融合子网络中间特征的两种调制系数图α与β，在融合子网络中利用SFT调制融合网络的有效特征；调制过程通过下式表示：SFT(x)＝α⊙x+β(6)式中⊙代表逐元素累乘，x代表待调制的有效特征，α与β为两种通过