基于多尺度注意力蒸馏学习网络的图像去雨算法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115187482A(43)申请公布日2022.10.14(21)申请号202210807681.7(22)申请日2022.07.09(71)申请人大连工业大学地址116034辽宁省大连市甘井子区轻工苑1号(72)发明人金桂月李朋鹏金基宇李宏涛赵向彬刘子昂姚天昊(74)专利代理机构北京棘龙知识产权代理有限公司11740专利代理师吴飞飞(51)Int.Cl.G06T5/00(2006.01)G06T3/40(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于多尺度注意力蒸馏学习网络的图像去雨算法(57)摘要本发明公开了基于多尺度注意力蒸馏学习网络的图像去雨算法。本发明提出了一个多尺度注意力蒸馏学习网络来探索图像尺度‑空间之间的关联性，并采用一种新的密集连接蒸馏结构来有效地学习并表征更丰富的特征，同时缓解梯度消失问题，加强特征传播，提高模型性能。本发明提出了一个多尺度注意力模块(MAB)和一个并行注意力蒸馏模块(CADB)。MAB使用不同大小的扩张卷积来提取不同尺度的特征。CADB结合通道注意和子空间注意机制来重新计算雨痕特征图，以减少无用的特征并保留空间和背景信息。CN115187482ACN115187482A权利要求书1/2页1.基于多尺度注意力蒸馏学习网络的图像去雨算法,其特征在于：包括如下步骤：建立用于单幅图像去雨的多尺度注意力蒸馏学习网络，整体网络架构主要由多尺度注意力模块和并行注意力蒸馏模块组成，分别用于特征提取和知识蒸馏；并行注意力蒸馏模块处理过程：将收到其输入设为L0，并行注意力蒸馏模块将输入的特征图(L0)分为n个互斥组:[L1,L2,...Lη,...Ln]，将Lη定义为一组中间特征图，则其整体架构可以被公式化为：Aη＝softmax(Conv1×1(Conv3×3(DWConv1×1(Lη)+maxpooling3×3(Lη))))(1)(c/r,c)(c,c/r)SE(L0)＝Fscale(L0,Sigmoid(FC(relu(FC(globalpooling3×3(L0))))))(3)其中在公式1中，maxpooling3×3为核大小为3×3的最大池化操作，DWConv1×1是核大小为1×1的深度可分离卷积，而Conv3×3和Conv1×1则分别为卷积核大小3×3和1×1的普通卷积，Aη是由一组中间特征图Lη推断出的注意力特征图，每组子空间中的注意力图Aη通过学习收集跨通道信息，捕捉到特征图之间的非线性依赖关系，同时为了保证Aη为一个有效的注意力加权张量，我们采用了一个具有softmax激活的门控机制，每组特征图经过公式(2)后将得到一个重新定义的特征图集其中为元素相乘，公式(3)为通道注意力分支的表示，(c,c/r)(c/r,c)globalpooling3×3是核大小3×3的平均池化，FC，FC分别是对特征图在通道上压缩激励和恢复的全连接层，压缩系数为r，CADB的最终输出如公式(4)由公式(1)‑(3)共同推得，Concat是将各组的特征图重新拼接组合起，CADB被嵌入到每个MAB中，同时每个MAB的输出都被作为CADB的输入，以解决在多尺度特征获取、传输和融合过程中的信息损失，CADB的核心是利用并行的通道和子空间注意力机制对特征信息进行重新校准，实现特征提炼，它对挖掘尺度‑空间特征信息很有帮助；多尺度注意力模块处理过程：MAB的输入特征图像设为Fin，首先通过卷积层，卷积核大小为1×1、3×3和5×5，输出表示如下：其中表示卷积大小分别为n×n的多尺度卷积第一层输出；Convn×n(·)表示卷积运算；表示卷积核大小分别为n×n的多尺度卷积第一层形成的超参数，输出信息可以通过卷积核大小为1×1、3×3和5×5的多尺度卷积进一步提取图像特征，2CN115187482A权利要求书2/2页其中表示卷积大小分别为n×n的多尺度卷积第二层输出；Convn×n()表示卷积运算；表示卷积核大小分别为n×n的多尺度卷积第二层形成的超参数，同样地，可以把多尺度卷积第三层的输出表示如下：MAB在经过多尺度卷积层之后分别通过卷积核大小为1×1、3×3的卷积实现了层内信息融合，最后引入一个CADB来提升图像有用特征信息的表征能力，MAB的最终的输出表示如下：其中Fout表示MAB的输出，CADB(·)表示并行注意力蒸馏模块，此外{η1；η2；η3；η4}表示MAB输出的超参数。3CN115187482A说明书1/6页基于多尺度注意力蒸馏学习网络的图像去雨算法技术领域[0001]本发明涉及电子领域，基于多尺度注意力蒸馏学习网络的图像去雨算法。背景技术[0002]雨水会造成