基于先验生成对抗网络的图像去雾方法及模型.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998151A(43)申请公布日2022.09.02(21)申请号202210682052.6G06N3/08(2006.01)(22)申请日2022.06.15(71)申请人清华大学深圳国际研究生院地址518055广东省深圳市南山区西丽街道深圳大学城清华校区A栋二楼(72)发明人梁斌王学谦柴晓萱周俊池武双飞(74)专利代理机构深圳新创友知识产权代理有限公司44223专利代理师徐罗艳(51)Int.Cl.G06T5/00(2006.01)G06T5/10(2006.01)G06V10/74(2022.01)G06N3/04(2006.01)权利要求书3页说明书10页附图5页(54)发明名称基于先验生成对抗网络的图像去雾方法及模型(57)摘要本发明公开了基于先验生成对抗网络的图像去雾方法，包括：收集成对的有雾图像和无雾图像构建训练集；对训练集的图像进行预处理，获得四通道的图像，所述四通道包括R、G、B三通道以及滤波后保留有高频与低频信息的第四通道；取四通道有雾图像的浅层特征并进行下采样，得到深层特征；对深层特征进行上采样以获取重构上采样特征，上采样过程中通过跳跃连接将上采样之前的图像特征融入重构上采样特征，重构出四通道的去雾图像；根据图像生成器损失和辨别器损失在训练集上训练所述图像去雾模型；图像生成器损失包括有雾图像与去雾图像之间的重建损失，对抗损失，以及表征去雾图像与无雾图像在HSV空间的区别的先验损失。CN114998151ACN114998151A权利要求书1/3页1.一种基于先验生成对抗网络的图像去雾方法，其特征在于，包括对图像去雾模型进行训练的步骤，其中所述图像去雾模型包括图像生成器和辨别器，所述图像生成器用于将输入的有雾图像处理为去雾图像，所述辨别器用于辨别所述去雾图像是否为无雾图像；所述对图像去雾模型进行训练的步骤包括：S1、收集成对的有雾图像和无雾图像构成图像对，利用图像对构建训练用的数据集，并将数据集划分为训练集和测试集；S2、对训练集的图像进行预处理，获得四通道的图像，所述四通道包括R、G、B三通道以及滤波后保留有高频与低频信息的第四通道；S3、对预处理后的训练集，提取四通道的有雾图像的浅层特征并进行下采样，得到深层特征；S4、对所述深层特征进行上采样以获取重构上采样特征，上采样过程中通过跳跃连接将上采样之前的图像特征融入所述重构上采样特征，重构出四通道的去雾图像；S5、根据图像生成器损失和辨别器损失，在训练集上训练所述图像去雾模型；其中，所述图像生成器损失包括：所述有雾图像与所述去雾图像之间的重建损失，对抗损失，以及表征所述去雾图像与所述无雾图像在HSV空间的区别的先验损失；其中，HSV空间包括代表色调的H通道、代表饱和度的S通道和代表明度的V通道。2.如权利要求1所述的图像去雾方法，其特征在于，还包括：利用所述测试集在已完成训练的所述图像去雾模型上进行测试，并根据测试结果判断去雾效果，所述去雾效果利用峰值信噪比PSNR和结构相似度SSIM两个指标来衡量。3.如权利要求1所述的图像去雾方法，其特征在于，步骤S2具体包括：S21、读取训练集中图像的灰度图并通过傅里叶变换转换到频域；S22、利用带阻滤波器对所述灰度图进行滤波，获得保留有图像低频和高频信息的第四通道；S23、将所述第四通道与R、G、B三通道拼接，形成所述四通道的图像。4.如权利要求3所述的图像去雾方法，其特征在于，所述带阻滤波器为60Hz的带宽，距离中心频率为25Hz。5.如权利要求1所述的图像去雾方法，其特征在于，所述有雾图像与所述去雾图像之间的重建损失包括：像素层面重建损失以及表征语义级重建损失的感受损失，所述像素层面重建损失使用L1损失来衡量，所述感受损失用特征映射空间的感受相似度和风格相似度来衡量；所述像素层面重建损失为：其中，N表示图像生成器处理的样本个数，是输入图像生成器的四通道的所述有雾图像，是四通道的所述无雾图像，是图像生成器输出的四通道的所述去雾图像；所述感受损失为：2CN114998151A权利要求书2/3页其中，φ(·)代表特征映射vgg16网络第30层的映射关系，为所述有雾图像的RGB输入，为所述无雾图像的RGB输入，x′是x的转置，此处x作为一个通用符号，代表或所述对抗损失为：其中，M为辨别器处理的样本个数，是辨别器的输出；所述先验损失为：其中，和分别代表图像生成器输出的四通道的去雾图像在HSV空间下的H通道和SV通道，和分别是四通道的无雾图像在HSV空间下的H通道和SV通道，是四通道的有雾图像在HSV空间下的SV通道，ε是一个用来避免分母为0的极小常数；代表输入数据x的S通道xs和V通道xv之间的差值，此处x作为一个通用符号，代表或所述图像生成器损失