基于多尺度堆叠式注意力网络的低照度图像增强方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972107A(43)申请公布日2022.08.30(21)申请号202210663857.6(22)申请日2022.06.14(71)申请人福州大学地址350108福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学(72)发明人牛玉贞陈铭铭李悦洲林晓锋(74)专利代理机构福州元创专利商标代理有限公司35100专利代理师丘鸿超蔡学俊(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)G06T7/00(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书10页附图2页(54)发明名称基于多尺度堆叠式注意力网络的低照度图像增强方法(57)摘要本发明提出一种基于多尺度堆叠式注意力网络的低照度图像增强方法，包括以下步骤：步骤A：对原始低照度图像和正常照度图像的训练图像对进行预处理，得到原始低照度图像和正常照度图像组成的训练图像对；步骤B：设计多尺度自适应融合堆叠式注意力网络作为低照度图像增强网络，该网络包含多尺度自适应特征融合模块，堆叠式注意力残差模块和傅里叶重建模块；步骤C：设计低照度图像增强网络的目标损失函数，训练网络至收敛到阈值或迭代次数达到阈值；步骤D：将待测图像输入到所设计的低照度图像增强网络中，利用训练好的网络预测生成正常照度图像。本发明能实现低照度图像增强，生成正常照度下的高质量图像。CN114972107ACN114972107A权利要求书1/4页1.一种基于多尺度堆叠式注意力网络的低照度图像增强方法，其特征在于，包括以下步骤：步骤A：对原始低照度图像和正常照度图像的训练图像对进行预处理，得到原始低照度图像和正常照度图像组成的训练图像对；步骤B：设计多尺度堆叠式注意力网络作为低照度图像增强网络，包括：多尺度自适应特征融合模块，用于提取不同场景下不同尺度的复杂光照以及不同尺度的物体特征；堆叠式注意力残差模块，用于提取场景中的细节纹理及边缘信息；傅里叶重建模块，用于有效捕获长期和短期交互，同时集成低频和高频残差信息；步骤C：设计低照度图像增强网络的目标损失函数，训练网络至收敛到阈值或迭代次数达到阈值；步骤D：将待测图像输入到所设计的低照度图像增强网络中，利用训练好的网络预测生成正常照度图像。2.根据权利要求1所述的基于多尺度堆叠式注意力网络的低照度图像增强方法，其特征在于：步骤A的具体实现步骤如下：步骤A1：随机指定每张图像的切块位置，处理原始低照度图像及其配对的正常照度图像，得到尺寸为H×W的配对图像块，其中低照度图像为输入，正常照度图像为参考图像；步骤A2：对所有待训练图像对进行相同的随机翻转旋转操作，增强数据。3.根据权利要求1所述的基于多尺度堆叠式注意力网络的低照度图像增强方法，其特征在于：所述多尺度堆叠式注意力网络的工作过程具体包括以下步骤：步骤B11：输入大小为H×W×3的低照度图像，首先经过卷积核为3×3的卷积层进行浅层特征提取后得到大小为H×W×C的特征图in；步骤B12：将步骤B11得到的特征图in依次经过多尺度自适应特征融合模块MSAFF，堆叠式注意力残差模块SARM，傅里叶重建模块ResFFT，得到特征图Zout，具体按照如下公式计算：Zout＝Concat(ResFFT(SARM((MSAFF(in)))),in)其中，Concat(·)为通道上的拼接操作步骤B13：在将步骤B12得到的特征图Zout经过多尺度卷积层和激活函数层后，得到最终的预测图像output，即增强后的低照度图像，具体计算公式如下：output＝Sigmoid(Conv3×3(Pyconv2(Concat(Zout,in))))其中，Sigmoid(·)表示Sigmoid激活函数层，Pyconv2(·)表示多尺度卷积层，含有两种不同尺寸的卷积核，按照如下公式计算：Pyconv2(x)＝Concat(Conv3×3(x),Conv5×5(x))其中，x为输入多尺度卷积层的特征，维度为H×W×C，Convk×k(·)表示卷积核大小为k×k的卷积层，输出通道数为Conv3×3(·)和Conv5×5(·)所提取的特征在通道维度上进行拼接操作后得到大小为H×W×C的特征图。4.根据权利要求3所述的基于多尺度堆叠式注意力网络的低照度图像增强方法，其特征在于：所述多尺度自适应特征融合模块的工作过程具体包括以下步骤：2CN114972107A权利要求书2/4页步骤B21：输入为步骤B11中得到的特征图in，将殴特征图in分别送入三个不同大小的卷积核中，得到大小皆为H×W×C的输出，按照如下公式计算：F1＝Conv3×3(in)F2＝Conv5×5(in)F3＝Conv7×7(in)其中