基于多阶段特征互补网络的单幅图像去雨方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113962905A(43)申请公布日2022.01.21(21)申请号202111469842.8(22)申请日2021.12.03(71)申请人四川大学地址610065四川省成都市武侯区一环路南一段24号(72)发明人王明辉王康荥李文青小昀娄元甲(74)专利代理机构成都海成知识产权代理事务所(普通合伙)51357代理人周敏(51)Int.Cl.G06T5/00(2006.01)G06V10/46(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图4页(54)发明名称基于多阶段特征互补网络的单幅图像去雨方法(57)摘要本发明公开了基于多阶段特征互补网络的单幅图像去雨方法，基于深度学习和渐进式复原的思想，构建了一种多阶段的框架，将复原任务分解为更小的子任务，在不同阶段针对性的应用不同的设计，使用编码器‑解码器网络来学习不同尺寸、方向的雨线特征，并且利用循环卷积网络(RNN)跨阶段进行互补的特征处理，最后与原始分辨率的雨图相结合来完成去雨，保留了更丰富的局部细节。从而更彻底地去除雨线并且保留更多的背景细节，提高单幅图像去雨后视觉效果，更好地解决图像中雨线造成背景和目标物体的遮挡和模糊等问题。CN113962905ACN113962905A权利要求书1/2页1.基于多阶段特征互补网络的单幅图像去雨方法，其特征在于，包括以下内容：(1)去雨模型的确定将有雨图像O分解为无雨背景层B和雨线层R的线性组合，同时将雨线的预测过程分为多个阶段，雨图模型表示如下：Rs表示第s阶段提取的雨线特征，S表示最大阶段数；(2)多尺度特征提取在网络的前期阶段通过基于U‑NET改进的编码器‑解码器子网络对雨线特征进行提取；在编码器部分通过下采样提取不同尺度的雨线特征得到特征图，通过步长为2的最大池化来降低维度，共池化两次，得到大小变为之前的1/2和1/4的两个特征图；然后采用上采样操作逐步恢复维度，最后在解码器中通过一个1×1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道；(3)多阶段特征互补在完成了前期第一个阶段的去雨后，将第一阶段的去雨输出图作为下一阶段的输入，即在第S(S＞1)阶段的输入图Os为第S‑1阶段的输出Bs‑1；在第S阶段中，将Os输入到编码器‑解码器子网络进行进一步的雨线特征提取；第S阶段编码器‑解码器子网络中，编码器和解码器的各层卷积运算将利用RNN在前一阶段编码器‑解码器子网络保留的雨线特征来进行协同，即引入RNN中的门控循环单元来捕获空间维度上的雨线特征信息流，使相关的上下文纹理特性具有循环的依赖关系，以捕获图像的全局雨线特征；第s阶段雨线特征的提取过程表述为Rs＝UEncoder‑Decoder+RNN(Os,xs‑1),1＜s≤S，其中，S表示特征提取的最大阶段数，Os表示第s阶段输入的雨图，xs‑1表示第s‑1阶段的编码器‑解码器子网络在同一层中预测到的雨线特征信息；在第s阶段中，表示编码器‑解码器子网络在某一层的卷积层提取到的雨线特征，计算方式如下：其中，σ是sigmoid函数σ(x)＝1/(1+exp(‑x))，⊙表示逐元素相乘；表示为第s阶段第j层的特征图，表示上一阶段同层特征图，和表示同阶段上一层特征图，z表示更新的门控，r表示控制重置的门控；(4)引入原始分辨率子网络在S个阶段内已经完成了对于雨线特征的提取，由于是将上一个阶段的输出作为下一个阶段的输入，采用的是加性预测的方式来预测雨线，因此最终雨线特征提取的结果R为各阶段提取到的雨线相加，表示为2CN113962905A权利要求书2/2页将最终提取的雨线特征图R输入到原始分辨率子网络中生成空间上丰富的高分辨率特征，再将得到的将原始分辨率子网获得的高分辨率的雨线特征图与原始雨图相结合，通过式获得最终的去雨图像B。2.根据权利要求1所述方法，其特征在于，步骤(2)中的具体方法是：如在网络第一阶段中输入的图片大小是256×256，在编码器中的首次卷积操作会提取到256×256的特征图，分别经过两次池化和卷积运算后变成128×128、64×64两个不同尺寸的特征图；在解码器部分应用反卷积对64×64的特征图进行上采样，得到128×128的特征图，将该128×128的特征图与之前128×128的特征图通过跳跃连接完成拼接和特征信息融合；对拼接后的特征图进行进一步的雨线特征提取后，对该特征图进行与上一层相同的反卷积和拼接，得到与输入雨图尺寸相同的256×256的多尺度雨线特征图；最后在解码器部分通过一个1×1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道，所的图像记为R1，再与该阶段输入的雨图O1相结合，输出去雨