一种基于多尺度聚合特征的单幅图像去雨方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利(10)授权公告号CN110443761B(45)授权公告日2022.02.15(21)申请号201910640037.3G06V10/82(2022.01)(22)申请日2019.07.16G06K9/62(2022.01)G06N3/04(2006.01)(65)同一申请的已公布的文献号G06N3/08(2006.01)申请公布号CN110443761A(56)对比文件(43)申请公布日2019.11.12US9373160B2,2016.06.21(73)专利权人大连理工大学CN107730459A,2018.02.23地址116024辽宁省大连市甘井子区凌工CN109360155A,2019.02.19路2号CN108564549A,2018.09.21(72)发明人薛昕惟刘日升王祎樊鑫CN109087258A,2018.12.25潘磊等.基于多尺度图像融合的单幅图像去(74)专利代理机构大连理工大学专利中心雾算法.《计算机工程》.2016,第42卷(第8期),21200XueyangFuetal..Removingrainfrom代理人梅洪玉singleimagesviaadeepdetailnetwork.(51)Int.Cl.《2017IEEEConferenceonComputerVisionG06T5/00(2006.01)andPatternRecognition》.2017,G06T5/30(2006.01)审查员郑岩G06V10/46(2022.01)G06V10/80(2022.01)权利要求书2页说明书5页附图3页(54)发明名称一种基于多尺度聚合特征的单幅图像去雨方法(57)摘要本发明属于计算机视觉领域，涉及一种基于多尺度聚合特征的单幅图像去雨方法。本发明是基于一种多尺度特征聚合密集连接卷积网络框架，由编码‑解码网络组成，每一个编码网络对应着一个解码网络；编码网络通过最大池化层降维和下采样，在进行最大池化的过程中记录最大池化的索引位置，并由该池化索引来引导对应的解码网络的上采样恢复过程。其中，编码网络和解码网络在卷积层是一样的，都是特征聚合密集连接卷积模块，只有最大池化和其对应的而上采样过程不同。本发明能够有效地去除不同密度的雨条纹，同时很好地保留了图像的细节。CN110443761BCN110443761B权利要求书1/2页1.一种基于多尺度聚合特征的单幅图像去雨方法，其特征在于，具体步骤如下：步骤一、去雨模型建模在图像去雨中，雨的模型表示如下：O＝B+S(1)其中，O为要对其进行去雨恢复的摄像机观测到的有雨图像，B为去雨后得到的清晰的背景图像，S为去除的雨线部分；步骤二、提取雨图中雨迹的低维特征采用一个多尺度特征提取模块FeatureBlock提取初始输入的雨图中雨迹的低维特征，过程如下：F0＝H0(I0)(2)其中，I0表示的是初始输入的雨图，H0表示的是FeatureBlock的特征计算，F0表示的是雨迹的低维特征；将生成的雨迹的低维特征F0通过短连接的方式输入到靠近输出的最后一层网络中，将初始输入的雨图I0通过短连接的方式输入到输出之前的残差加和中；采用膨胀卷积作为多尺度特征提取模块FeatureBlock的基础结构，并采用4种不同尺度的膨胀卷积；DF代表不同的膨胀因子，DF＝1表示卷积时相邻像素之间没有空隙，DF＝2表示卷积时相邻像素之间Kernel间隔一个像素，DF＝3表示卷积时相邻像素之间Kernel间隔两个像素，DF＝4表示卷积时相邻像素之间Kernel间隔三个像素，间隔的像素点处卷积核的值填充为0；且每个膨胀卷积块中使用具有不同膨胀因子的卷积核，得到每个膨胀卷积内的多尺度特征；先将DF＝1和DF＝2的膨胀卷积提取的特征进行聚合并通过1*1的卷积进行降维得到聚合特征F1，然后将DF＝3和DF＝4的膨胀卷积提取的特征进行聚合并通过1*1的卷积进行降维得到聚合特征F2，最后将聚合特征F1和F2通过1*1的卷积核聚合在一起，最后将聚合的聚合特征通过1*1的卷积降维，最终得到四种不同尺度的聚合雨迹特征信息；步骤三、构建多尺度特征聚合密集连接模块FJDB在多尺度特征聚合密集连接卷积模块FJDB中，采用膨胀卷积作为特征提取的第一部分，将输入的图像分三路进行特征提取，分别为DF＝1、DF＝2和DF＝3；三种不同的膨胀卷积的卷积核大小均为3*3；将三种雨迹特征聚合，再通过1*1的卷积将特征图的通道变换为Input的初始通道数，且在密集连接卷积块DenseBlock的各个阶段保持通道数一致；在聚合三种雨迹特征后，将聚合特征输入到一个密集连接卷积块DenseBlock中，密集连接卷积块前面所有层的输出都通过短连接的方式输入到后面的所有层中；特征聚合