基于多尺度密集混合注意力神经网络的图像去雨方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112102176A(43)申请公布日2020.12.18(21)申请号202010729947.1(22)申请日2020.07.27(71)申请人中山大学地址510275广东省广州市海珠区新港西路135号(72)发明人李洽彭振桓(74)专利代理机构广州市华学知识产权代理有限公司44245代理人李斌(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图4页(54)发明名称基于多尺度密集混合注意力神经网络的图像去雨方法(57)摘要本发明公开了一种基于多尺度密集混合注意力神经网络的图像去雨方法，包括以下步骤：构建多尺度密集混合注意力神经网络，包括顺序连接的进入模块、多个密集注意力模块、退出模块、全连接操作单元以及负残差还原操作单元，两两相邻的密集注意力模块之间设置一转接层；将含雨图像输入多尺度密集混合注意力神经网络，进行初始特征提取；密集注意力模块对初始特征处理；对密集注意力模块输出的特征经转接层变为和初始特征相同维度大小的特征；全连接操作与负残差还原操作，最后输出无雨清晰图像。基于本发明，可以充分地去除含雨图像中的雨纹，并且较好的保留图像中的背景信息。CN112102176ACN112102176A权利要求书1/3页1.基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，包括以下步骤：构建多尺度密集混合注意力神经网络，所述多尺度密集混合注意力神经网络包括顺序连接的进入模块、多个密集注意力模块、退出模块，全连接操作单元以及负残差还原操作单元，两两相邻的密集注意力模块之间设置一转接层；所述密集注意力模块包括多个组合模块，每个组合模块包括密集层、选择核单元以及空间注意力块，并按照密集层、选择核单元和空间注意力块的顺序对输入特征依次进行处理，处理结果输入到下一个组合模块；将含雨图像输入多尺度密集混合注意力神经网络，进行初始特征提取；密集注意力模块对初始特征进行处理，所述初始特征经过密集层进行卷积、批标准化和ReLU操作之后，由选择核单元进行划分、融合和选择运算处理，划分运算生成通过不同卷积核大小的卷积操作获得的多分支特征，而不同卷积核大小对应不同的感受野大小，融合运算对多分支特征进行组合聚集，为动态的权重选择获得不同感受野组合的全局表示，选择运算根据权重选择动态自适应地组合聚集不同卷积核大小对应的多分支特征；经过选择核单元处理后特征再由空间注意力块获得的两个空间维度上像素值被权重校正的特征进行通道维度上的组合特征，再利用一个卷积核大小为1的卷积层对组合特征进行降维，获得与输入特征具有相同维度大小的输出特征；对密集注意力模块输出的特征经转接层变为和初始特征相同维度大小的特征，然后输入到下一个密集注意力模块，并重复执行密集注意力模块处理与改变特征维度大小步骤的操作，直至最后一个密集注意力模块完成处理，输出结果；将多个密集注意力模块的输入特征在通道维度上进行级联的全连接操作并输入到退出模块，退出模块输出结果与含雨图像进行相加的负残差还原操作，最后得到无雨清晰图像。2.根据权利要求1所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述多尺度密集混合注意力神经网络包括4个密集注意力模块、3个转接层、1个进入模块、1个退出模块、1个全连接操作单元以及1个负残差还原操作单元；所述进入模块包括1个卷积层、1个批标准化层以及1个ReLU单元。3.根据权利要求2所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述初始特征提取具体为利用进入模块提取初始特征：I＝E(X)其中I为初始特征，X为含雨图像。4.根据权利要求1所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述组合模块中的密集层和转接层具有相同的组成结构，包括1个卷积层、1个批标准化层以及1个ReLU单元，输入特征经过组合模块，组合模块的处理具体为：Dl＝f(S)＝fSA(fSK(fDL(S)))其中，S表示第l个组合模块的输入特征，Dl表示第l个组合模块的输出特征，fDL(·)，fSK(·)和fSA(·)分别表示密集层，选择核单元和空间注意力块。5.根据权利要求1所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述选择核单元包括若干个卷积核大小为1的卷积层、若干个批标准化层、1个选择核卷积模块以及1个用于残差映射的跳远连接。6.根据权利要求5所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特2CN112102176A权利要求书2/3页征在于，所述选择核卷积模块由以下步骤实现：划分运算，对于空间维度大小为H×W，带有C个通道的特征F，使用卷