基于注意力机制的残差单幅图像去雨方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112907479A(43)申请公布日2021.06.04(21)申请号202110244785.7(22)申请日2021.03.05(71)申请人西安电子科技大学地址710071陕西省西安市太白南路2号(72)发明人吴炜汪萍(74)专利代理机构陕西电子工业专利中心61205代理人侯琼王品华(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图2页(54)发明名称基于注意力机制的残差单幅图像去雨方法(57)摘要本发明公开了一种基于注意力机制的残差单幅图像去雨方法，主要解决现有单幅图像去雨技术存在局限性、处理效果不理想的问题。其方案包括：1)对输入图像进行预处理，得到预处理后图像；2)构建包括残差网络模块和编解码器网络模块的注意力残差神经网络模型；3)将预处理后图像输入注意力残差神经网络模型进行训练，利用损失函数对注意力残差神经网络模型进行约束，然后反向传播进行参数更新，得到训练好的去雨神经网络模型；4)将待处理的有雨图像输入去雨神经网络模型中进行图像处理，得到无雨清晰图像。本发明能够有效去除单幅含雨图像中的雨纹，得到清晰图像；同时，对于原图中的背景信息实现充分保留。CN112907479ACN112907479A权利要求书1/2页1.一种基于注意力机制的残差单幅图像去雨方法，其特征在于，包括以下具体步骤：(1)对输入图像进行预处理，得到预处理后有雨图像；(2)搭建注意力残差神经网络模型：(2.1)采用卷积层、短跳跃连接组成的卷积残差块以及长跳跃连接构成残差网络模块，用于对预处理后有雨图像进行图像特征提取；(2.2)构建编解码网络模块：(2.2.1)由下采样和通道注意力模块SE_Block组成编码器网络，由上采样和通道注意力模块SE_Block组成解码器网络；(2.2.2)编码器网络最底层的输出特征经过通道注意力模块SE_Block和卷积层处理后进入解码器网络中，其他层级上解码器网络与编码器网络对应层级的输出特征信息通过跳跃连接方式进行叠加融合，构成编解码网络模块；(2.3)残差网络模块的输出连接编解码网络模块中编码器网络的输入，编解码网络模块中解码器网络的输出为雨纹信息；(2.4)将步骤(1)得到的预处理后有雨图像与编解码网络模块输出的雨纹信息进行做差处理，输出去雨后无雨图像，完成注意力残差神经网络模型的搭建。(3)采用预处理后有雨图像对注意力残差神经网络模型进行训练，并利用损失函数对其进行约束，然后采用反向传播进行参数更新，获得去雨神经网络模型；(4)将待处理的有雨图像作为去雨神经网络模型的输入，利用去雨神经网络模型对图像进行去雨处理，输出去雨后干净图像。2.根据权利要求1所述的方法，其特征在于：步骤(1)中预处理具体为：将输入图像的像素值归一化为[0，1]、像素大小裁剪为256*256*3。3.根据权利要求1所述的方法，其特征在于：步骤(2.1)中的残差网络模块，采用1个卷积层、5个由短跳跃连接组成的卷积残差块以及1个长跳跃连接构成。4.根据权利要求3所述的方法，其特征在于：所述卷积残差块公式如下：xL+1＝xL+F(xL+WL)，其中，xL+1为第L+1层卷积层的卷积结果，xL为第L层卷积层的卷积结果，WL为第L层卷积层的权重，F(xL+WL)表示残差部分。5.根据权利要求1所述的方法，其特征在于：步骤(2.2.1)中编码器网络由3次下采样和3个通道注意力模块SE_Block组成，用于逐级提取图像特征中的雨纹特征；解码器网络由3次上采样和3个通道注意力模块SE_Block组成，用于将编码器网络提取的雨纹特征逐级融合，得到雨纹信息。6.根据权利要求5所述的方法，其特征在于：所述上采样具体由一个大小为3x3、步长为2的卷积层组成；所述下采样具体由一个大小为3x3、步长为2的转置卷积层组成；所述通道注意力模块SE_Block由全局池化层、完全连接层、ReLU激活层、完全连接层以及Sigmoid层组成。7.根据权利要求1所述的方法，其特征在于：所述步骤(3)中损失函数具体为：Loss＝LossSmooth_L1+λLossSSIM，其中LossSmooth_L1表示光滑平均绝对误差损失函数，表达式如下：2CN112907479A权利要求书2/2页其中，yi表示输入的第i张无雨图像，xi表示输入的第i张有雨图像，f(xi)表示第i张有雨图像经过注意力残差神经网络模型处理后的输出；LossSSIM表示结构相似性损失函数，表达式如下：LossSSIM＝1‑SSIM(Y,F(x))，其中，Y和x分别表示输入的无雨图像和有雨图像，F(x)表示输入的有雨图像x经过注意