基于多尺度的轻量级低光图像增强方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112884668A(43)申请公布日2021.06.01(21)申请号202110195729.9(22)申请日2021.02.22(71)申请人大连理工大学地址116024辽宁省大连市甘井子区凌工路2号(72)发明人仲维张晓东刘日升樊鑫罗钟铉(74)专利代理机构大连理工大学专利中心21200代理人陈玲玉(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)权利要求书2页说明书5页附图2页(54)发明名称基于多尺度的轻量级低光图像增强方法(57)摘要本发明提供了基于多尺度的轻量级低光图像增强方法。它解决了现有方法无法完整保留图像细节、清晰度差、色彩失真与泛化能力弱等问题。本发明利用图像的多尺度表示，使用深度神经网络提取低光图像的多尺度光照信息，有效发掘并保留图像的细节特征。采用渐进式融合策略对多尺度光照信息进行融合与调整，恢复得到可准确表示外界光照分布的精细光照图像。最终根据视觉理论消除外界光照的不良影响，实现图像增强。本发明充分利用了图像在不同尺度下的互补特征信息，增强图像视觉效果好，且网络简洁，处理速度快，具有实用价值。CN112884668ACN112884668A权利要求书1/2页1.一种基于多尺度的轻量级低光图像增强方法，其特征在于，包括步骤如下：步骤一、对低光图像进行多尺度变换，获得不同尺度的低光图像；步骤二、利用网络提取不同尺度的低光图像的初始光照；步骤三、对不同尺度的初始光照进行跨尺度融合，获得融合光照；步骤四、对多尺度融合光照进行上采样、连接与调整操作，获得精细光照；步骤五、根据Retinex视觉理论，由精细光照计算得到增强图像。2.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，所述步骤一具体过程为：以低光图像作为底层图像，自底向上建立高斯图像金字塔，具体实现过程如公式(1)、(2)所示：在公式(1)中，Gi表示金字塔第i层图像，共有n层，Down()表示下采样操作，表示卷积操作，gk×k表示尺寸为k×k的高斯卷积核；公式(2)为高斯核函数，其中σ表示尺度参数；多次迭代以上过程得不同高度的图像金字塔。3.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，所述步骤二具体为：设计含有多层网络结构的提取网络，独立提取不同尺度的低光图像的初始光照，各层网络结构由单元构成，每个单元依次由卷积层、批归一化层、激活函数组成；根据输入图像的尺度不同，各层网络的卷积核尺寸依次设置为步骤一中相应层的卷积核尺寸。4.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，所述步骤三具体为：将步骤二得到的低分辨率的初始光照输入到融合网络模型中，对光照信息进一步提取，然后利用反卷积进行上采样，与所有高分辨率初始光照逐像素相加，实现特征融合；迭代上述过程，获得多尺度的融合光照；所述融合网络内部包括残差块，每个残差块由卷积层、批归一化层以及激活函数组成，各残差块内部利用跳跃连接，实现光照信息的渐进式融合与梯度的反向传播。5.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，所述步骤四具体为：首先将步骤二得到的初始光照与步骤三得到的融合光照分别在各自尺度下进行连接；然后利用卷积层进一步整合光照信息，学习多尺度光照的各通道间的关联性与依赖性，输出新的光照；然后自顶向下，对相邻尺度的光照进行连接操作，先将低尺度光照上采样至与高尺度光照相同尺寸再进行连接，得到较高尺度的新光照；对所有相邻尺度光照迭代进行上述操作，直至获得尺寸与原始图像相同的多通道光照；最后利用卷积操作进行通道调整，得到精细光照，能够准确反映外界光照对原始图像的影响。6.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，所述步骤五具体为：步骤五一、低光图像S是原始图像R与光照图像L的乘积；将低光图像S与光照图像L进行对数变换，如公式(4)所示：log(S(x,y))＝log(R(x,y))+log(L(x,y))(4)步骤五二、在对数域将二者做差，如公式(5)、(6)所示：2CN112884668A权利要求书2/2页r(x,y)＝log(R(x,y))＝log(S(x,y))‑log(L(x,y))(5)r(x,y)＝s(x,y)‑l(x,y)(6)步骤五三、将计算结果进行指数变换，回到原数域，得到增强图像，如公式(7)所示：R(x,y)＝er(x,y)(7)。7.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，该方法在网络模型训练阶段，将低光图像数据集中的低光与正常光图像对分别输入到网络中，低光图像作为网络输入，正常光图像作为标签，用损失函数衡量增强图像与标签