基于参考亮度指标指导的低照度可调节亮度增强方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112465726A(43)申请公布日2021.03.09(21)申请号202011437884.9(22)申请日2020.12.07(71)申请人北京邮电大学地址100876北京市海淀区西土城路10号(72)发明人姜竹青王雅楠刘畅李凯门爱东王海婴(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图1页(54)发明名称基于参考亮度指标指导的低照度可调节亮度增强方法(57)摘要本发明涉及一种基于参考亮度指标指导的低照度可调节亮度增强方法，属于计算机视觉图像技术领域。第一步，通过卷积、下采样和全局平均池化等方式，对输入暗光图像和参考亮度指标进行特征提取，得到特征向量；第二步，将特征向量分解为亮度和内容特征分量，组合暗光图像的内容分量和参考亮度指标的亮度分量，实现特征重组；第三步，通过转置卷积、上采样和跳连等方式，对重组的特征向量进行重建。本发明设计合理，充分考虑了不同应用场景或用户对光照的不同需求，高效地利用并保留了图像的亮度和内容信息，另外网络复杂度较低，在取得较好亮度增强效果的同时，保持了较快的运行速度，整体在暗光图像可调节亮度增强上取得了较好的效果。CN112465726ACN112465726A权利要求书1/3页1.基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于包括以下步骤：步骤1、在图像输入阶段，随机采用图像增强技术，变换样本内容；步骤2、将暗光图像和参考亮度指标输入网络，分别进行特征提取，该阶段包括卷积、下采样和全局平均池化等操作，输出暗光图像和参考亮度指标的特征向量；步骤3、将步骤2得到的两个特征向量分别分解为亮度特征分量和内容特征分量，通过剪切和拼接的操作，实现对特征向量的重组，输出由参考指标的亮度分量和暗光图像的内容分量组合构成的特征向量；步骤4、对步骤3得到的重组后的特征向量进行重建，该阶段包括转置卷积、上采样和跳连等操作，输出亮度增强至与参考水平相近的特征图；步骤5、步骤4得到的特征图经过卷积处理，映射到输出的特征维度，卷积核的输出通道数和输入图像的通道数一致，最终输出与参考指标亮度相近的正常亮度图像；步骤6、将步骤5的输出图像重新送入网络，通过卷积、下采样和全局平均池化等操作，对其进行特征提取，并通过剪切得到两个特征分量。在隐空间中，使用本步骤和步骤3中得到的特征分量计算损失函数，用于优化网络。2.根据权利要求1所述的基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于，所述步骤1的数据增强的具体方法包括以下步骤：(1)若处于测试阶段，则直接进入权利要求1所述步骤2；若处于训练阶段，则进行以下操作；(2)对输入的暗光图像和参考亮度图像，以各1/4的概率决定其翻转方式，包括不翻转、水平翻转、垂直翻转和水平及垂直翻转，两个图像的翻转方式相同；(3)在翻转后的输入图像中，随机定位一个尺寸为100×100的图像块，且在暗光图像和参考亮度图像中的位置相对应；(4)对于被定位到的图像块，将暗光图像的这部分内容替换为用于监督的对应位置的参考亮度图像块内容，即让网络对这部分像素进行恒等映射的学习，对网络学习起到了正则化的作用。限制其只在需要增强亮度的地方进行增强处理，避免了处理后的图像出现过曝(过度增强)，迫使网络不仅需要学习如何进行亮度增强，还需要学习在哪儿进行亮度增强。3.根据权利要求1所述的基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于，所述步骤2的具体细节包括以下内容：(1)若处于测试阶段，则参考亮度指标为任意正常亮度指标；若处于训练阶段，则参考亮度指标为暗光图像对应的有监督正常亮度图像；(2)该特征提取阶段逐步下采样，可视为编码器，共有四层下采样和一层全局平均池化；(3)每一层下采样首先进行两次3×3的卷积，进一步提取特征，卷积不改变特征图尺寸，但是改变输出通道数分别至32、64、128和256，再使用最大值池化将特征图尺寸降低为原来的1/2，进行空间特征的压缩与融合，保留纹理内容，扩大卷积网络的感受野，提取更多语义信息。(4)在全局平均池化前，首先对四层下采样后的特征图进行一次3×3的卷积，改变其通道数至512，再采用全局平均池化将特征图变为512维的特征向量，作为该阶段的输出；2CN112465726A权利要求书2/3页4.根据权利要求3所述的基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于，所述步骤(1)的具体细节包括以下内容：①用于测试阶段的参考亮度指标可以为任意正常亮度图像、无内容图像和图像的平均亮度值；②若参考亮度指标为正常亮度图像，则直接输入网络进行亮