一种融合频率和内容特征的单幅图像去雾方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115546046A(43)申请公布日2022.12.30(21)申请号202211046988.6(22)申请日2022.08.30(71)申请人华南农业大学地址510642广东省广州市天河区五山路483号(72)发明人王美华廖磊徐嘉杰(74)专利代理机构广州博联知识产权代理有限公司44663专利代理师王洪江(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/77(2022.01)权利要求书5页说明书10页附图3页(54)发明名称一种融合频率和内容特征的单幅图像去雾方法(57)摘要本发明涉及一种融合频率和内容特征的单幅图像去雾方法，包括：首先将输入图像进行批归一化处理，然后输入到包含频率流和内容流的双流网络；频率流使用倍频卷积提取图像高低频特征，并加入了基于Transformer的高低频双重自注意力机制；内容流为残差嵌套结构提取图像内容特征，并加入了残差通道注意力机制；针对去雾过程中算法导致的图像结构信息和细节高频信息被抹除问题，提出使用倍频卷积准确的提取频率特征，并与内容特征有效结合最终得到去雾图像。本发明针对单幅有雾图像进行去雾都能得到更高质量的去雾图像。本发明结合了倍频卷积、残差通道注意力机制和双重自注意力机制，可更好提高网络去雾性能。CN115546046ACN115546046A权利要求书1/5页1.一种融合频率和内容特征的单幅图像去雾方法，其特征在于，包括以下步骤：S1)、构建一个包含频率流和内容流的双流神经网络架构，其中，所述的频率流为由倍频卷积和残差通道注意力块构成的编‑解码器架构，使用卷积进行下采样操作，使用反卷积作为上采样操作，使用双重自注意力机制相加融合编码器和解码器路径特征；所述的内容流为包括三个残差组的残差嵌套结构，每个残差组由三个残差通道注意力块组成，每个残差通道注意力块使用深度可分离卷积层、通道注意力特征融合层和残差连接构成；S2)、对有雾图像Xhazy和对应的无雾图像Yclean标签对进行格式化处理，并基于pytorch网络框架训练去雾网络中的权重参数；S3)、将训练完成的网络参数提取并装载到步骤S1)构建的双流神经网络架构中，以提取图像特征、计算特征间相互关系，并调整数据分布，从而保证网络的去雾能力；S4)、将有雾图像Xhazy输入步骤S3)的双流神经网络架构中进行测试，分别输出得到Yfrequency、Ycontent和Ydehaze；其中，Ydehaze为最终对应去雾图像输出，Yfrequency和Ycontent分别为频率流和内容流输出的中间去雾图像；对于测试图像Xhazy的处理，具体包括如下步骤：S411)、给定有雾测试图像Xhazy，以及已经装载训练完成的权重去雾网络，首先将有雾测试图像Xhazy进行输入规范化到0‑1数值范围；S412)、将输入规范化后的图像经过卷积层进行浅层特征提取，然后分别通过频率流和内容流提取双特征流，在频率流辅以倍频卷积、双重自注意力机制提取频率特征，内容流中辅以残差通道注意力提取内容特征，完成特征提取、增强显著特征后，将两特征流融合最终得到去雾图像。2.根据权利要求1所述的一种融合频率和内容特征的单幅图像去雾方法，其特征在于：步骤S1)中，所述的频率流中使用倍频卷积提取高低频特征；所述的倍频卷积将普通的特征图按通道进行划分，分别提取高低频特征；其中，高频特征包含纹理边缘细节特征，低频特征包含整体结构，其存在冗余；因此，低频特征经过下采样，分辨率变为高频特征的一半；倍频卷积具体表达为：YH＝YH→H+YL→H；YL＝YL→L+YH→L；式中，YH表示倍频卷积输出的高频特征，YL表示倍频卷积输出的低频特征，YH→H和YL→H分别表示输入高频特征到输出高频特征的映射和输入低频特征到输出高频特征的映射，YL→L和YH→L分别表示输入低频特征到输出低频特征的映射和输入高频特征到输出低频特征的映射；其具体表达式如下：YH→H＝f(XH；WH→H)；YL→H＝Upsampling(f(XL；WL→H)，2)；YL→L＝f(XL；WL→L)；YH→L＝f(Pooling(XH，2)；WH→L)；式中，XH表示倍频卷积输入的高频特征，XL表示倍频卷积输入的低频特征，f(XH；WH→H)表示高频到高频的映射，f(XL；WL→L)表示低频到低频的映射，Upsampling(·，2)表示采样因子2CN115546046A权利要求书2/5页为2的上采样操作，Pooling(·，2)表示步长为2的池化操作。3.根据权利要求1所述的一种融合频率和内容特征的单幅图像去雾方法，其特征在于：步骤S1)中使用了基于深度可分离卷积的通道空间注意力