一种基于多阶段和多尺度注意力融合网络及图像去雨方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114187275A(43)申请公布日2022.03.15(21)申请号202111522656.6G06N3/08(2006.01)(22)申请日2021.12.13G06V10/80(2022.01)G06V10/82(2022.01)(71)申请人贵州大学地址550025贵州省贵阳市花溪区贵州大学西校区(72)发明人张永军李智杨亦童徐毓杰王西禾赵浩良欧阳婷杨和亮(74)专利代理机构深圳至诚化育知识产权代理事务所(普通合伙)44728代理人刘英(51)Int.Cl.G06T7/00(2017.01)G06T5/00(2006.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书2页说明书9页附图5页(54)发明名称一种基于多阶段和多尺度注意力融合网络及图像去雨方法(57)摘要本发明提供一种基于多阶段和多尺度注意力融合网络及图像去雨方法，它由两个编码器解码器网络组成，包含有联合通道坐标注意力模块、注意力分支模块和多级特征融合模块，联合通道坐标注意力模块用来提取每个尺度上的有用信息；注意力分支模块用来提取高级特征，多级特征融合模块位于两个编解码器网络之间，用于将第一阶段网络提取的粗糙特征融合到第二阶段，对特征细化。本发明两个网络均采用编码器‑解码器网络来提取特征，第一阶段网络粗化特征，第二阶段网络融合了第一阶段网络的特征进一步细化特征，考虑到雨纹信息的水平性和垂直性，引入了联合通道坐标注意力模块来关注不同方向上的有用信息，实验结果表明，该方法优于目前最先进的去雨方法。CN114187275ACN114187275A权利要求书1/2页1.一种基于多阶段和多尺度注意力融合网络，其特征在于：它由两个编码器解码器网络组成，所述网络包含有联合通道坐标注意力模块、Inception注意力分支模块和多级特征融合模块，所述联合通道坐标注意力模块用来提取每个尺度上的有用信息，用来对通道关系和位置信息进行编码；所述Inception注意力分支模块位于联合通道坐标注意力模块之后，用来提取高级特征，所述多级特征融合模块位于两个编解码器网络之间，用于将第一阶段网络提取的粗糙特征融合到第二阶段，对特征进一步细化。2.根据权利要求1所述的基于多阶段和多尺度注意力融合网络，其特征在于：所述Inception注意力分支模块中，设有不同尺寸卷积核分支组合而成的多分支模块。3.根据权利要求1所述的基于多阶段和多尺度注意力融合网络，其特征在于：所述联合通道坐标注意力模块由两个3x3的卷积层、PRelu函数和联合通道坐标注意力组合而成。4.根据权利要求1所述的基于多阶段和多尺度注意力融合网络，其特征在于：所述多级特征融合模块在两个编码器‑解码器之间，用于将第一阶段编解码器网络的不同尺度特征转移融合到第二阶段编解码器网络中。5.根据权利要求1‑4任一项所述的基于多阶段和多尺度注意力融合网络的图像去雨方法，其特征在于：所述方法步骤为：一、使用一个3×3的卷积核来提取初始特征，然后将这些特征输入到具有联合通道坐标注意力模块编码器‑解码器网络结构中；二、将第一阶段网络提取的粗糙特征融合到第二阶段，对特征进一步细化；三、通过一个3×3卷积得到输入图像的残差输出，再和退化图像进行融合就得到了重建后的图像。6.根据权利要求5所述的基于多阶段和多尺度注意力融合网络的图像去雨方法，其特征在于：所述步骤一中，联合通道坐标注意力模块对通道关系和位置信息进行编码，总共分为两步：多通道信息注意融合和位置信息嵌入。7.根据权利要求6所述的基于多阶段和多尺度注意力融合网络的图像去雨方法，其特征在于：所述步骤一中，多通道信息注意融合的步骤为：(1)为了获得更大的感受野，选择尺寸为3和尺寸为5的卷积核，对任意给定的特征图通过大小为3的卷积核生成的中间特征为通过大小为5的卷积核生成的中间特征为H×W表示输入的空间维度，C为输入特征图的通道数，H′×W′表示输出的空间维度，C′/r为通过卷积核输出后的通道数，通过使用通道缩减因子r，来降低模型的复杂度以及提升模型的泛化能力；(2)构建通道之间依赖关系可以提高网络模型对通道信息的敏感性，这些通道信息可以显著提高网络模型的性能，对通道信息建模，选择在上使用全局平均池化来捕获全局信息去生成通道统计信息具体来说，通过收缩的空间维度H×W来计算b的第c个元素，Fgp(·)为全局平均池化操作，为通道维度上的特征图，H′×W′为的空间维度；通过全连接层和sigmoid函数生成一个紧凑的特征能够对所有通道实现精确2CN114187275A权利要求书2/2页的自适应选择，z＝Ffc(b)＝δ(Wb)，δ是sigmoid的函数，使用d来控制全连接层的维度大小，最后通过