一种融合注意力单幅图像去雨方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114881871A(43)申请公布日2022.08.09(21)申请号202210383384.4(22)申请日2022.04.12(71)申请人华南农业大学地址510642广东省广州市天河区五山路483号数学与信息学院638(72)发明人王美华柯凡晖廖磊(74)专利代理机构广州博联知识产权代理有限公司44663专利代理师王洪江(51)Int.Cl.G06T5/00(2006.01)G06T7/40(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/80(2022.01)权利要求书6页说明书12页附图2页(54)发明名称一种融合注意力单幅图像去雨方法(57)摘要本发明涉及一种融合注意力单幅图像去雨方法，包括：首先将输入图像进行批归一化处理，然后输入到三维注意力机制与残差密集块结构相结合的编码器网络得到高维特征；使用Transformer机制计算全局特征关联性；使用三维注意力残差密集块构建的解码器将特征矩阵逐级还原到原始输入图像大小，得到输出图像；针对去雨过程中算法导致的图像结构信息和细节高频信息被抹除问题，提出将多尺度结构性损失和常用去雨损失函数结合参与去雨网络训练。本发明针对单幅有雨图像进行去雨都能得到更高质量的去雨图像。本发明结合了三维注意力机制、Transformer和编‑解码器架构，可更好提高网络去雨性能。CN114881871ACN114881871A权利要求书1/6页1.一种融合注意力单幅图像去雨方法，其特征在于：包括以下步骤：S1)、构建一个包含三维注意力、Transformer和编‑解码器的神经网络架构，所述的神经网络架构包含编码器、中间层和解码器；所述的编码器和解码器主要由卷积层和全局残差密集块构成，使用卷积进行下采样操作，使用反卷积作为上采样操作；使用对应特征图矩阵相加融合编码器和解码器路径特征；每个全局残差块由两个三维注意力局部残差密集块和残差连接组成，每个三维注意力局部残差密集块使用密集连接层、三维注意力特征融合层和残差连接构成；S2)、对数据集有雨图像Irainy和对应的无雨图像Iclean标签对进行格式化处理，并基于pytorch网络框架训练去雨网络中的权重参数；网络的所有参数在pytorch框架下经过有监督训练学习获得，具体训练方法为：在获得有雨图像及其对应无雨图像标签对后，选择其作为训练集，定义的网络优化目标为：argmin∑Θ(F(Xrainy，Q)，Yclean)；式中，Q表示需要学习的所有参数，Xrainy和Yclean分别为训练数据集中的有雨图像和对应无雨图像标签对；F(·，Q)表示神经网络学习到的从有雨图像到无雨图像的映射，Θ(·)为本文总损失函数；S3)、将训练完成的神经网络参数提取并装载到步骤S1)构建的网络中，以提取图像特征、计算特征间相互关系，并调整数据分布，从而保证网络的去雨能力；S4)、对于一张有雨图像测试输入Irainy，直接输入至步骤S1)构建的网络中，分别得到和其中为最终对应去雨图像输出，和分别为第1、2、3尺度产生用于深监督训练的中间去雨图像，其图像宽高分别为原始输入有雨图像1/2、1/4和1/8；对于测试图像Xrainy的处理，具体包括以下步骤：S411)、给定有雨测试图像Xrainy，以及已经装载训练完成的权重去雨网络，首先将有雨测试图像Xrainy进行输入规范化到0‑1数值范围；S412)、将输入规范化后的图像分别依次通过编码器、中间层和解码器，同时辅以卷积操作、三维注意力机制处理和Transformer机制处理进行图像特征提取、增强显著特征和抑制特征任务无关区域和计算特征全局关联性等操作；对于测试图像Xrainy的处理，具体包括以下步骤：S421)、给定有雨测试图像Xrainy，以及基于训练好的网络，先经过输入规范化，将其数据规范化到0‑1范围内，用于网络输入；S422)、依次通过网络的编码器、中间层和解码器，同时辅以三维注意力和Transformer机制，以进行背景纹理提取、非线性映射、高级特征提取及雨线区域复原等操作。2.根据权利要求1所述的一种融合注意力单幅图像去雨方法，其特征在于：步骤S1)中，所述的中间层包含Patch特征嵌入操作和Transformer层；所述的Patch特征嵌入操作为使用神经网络将向量化的2D特征Patch映射进线性空间；在将二维特征进行空间位置信息编码时，为保存原始特征相对空间信息，将额外使用位置嵌入信息矩阵，其与二维特征相加，具体表达为：2CN114881871A权利要求书2/6页式中，z0是加入空间位置信息编码的2D特征Patch，为第N个大小为P×P的2D特征Patch，为patch嵌入映射神经网络权重，为空