一种基于域转换的特征域单图像去雾方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112907478A(43)申请公布日2021.06.04(21)申请号202110244141.8(22)申请日2021.03.05(71)申请人西安电子科技大学地址710071陕西省西安市太白南路2号(72)发明人吴炜黄珊(74)专利代理机构陕西电子工业专利中心61205代理人侯琼王品华(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书6页附图3页(54)发明名称一种基于域转换的特征域单图像去雾方法(57)摘要本发明公开了一种基于域转换的特征域单图像去雾方法。主要解决现有技术处理真实有雾图像后无法保留特征信息的问题。其方案为：首先，通过域转换模块将合成域图像与真实域图像进行互相转换，从而对训练数据进行数据增强；然后，构建两个由通道注意力残差块组成的去雾模块，分别作为合成域去雾模块和真实域去雾模块，对不同训练集采用不同损失函数进行网络权重更新，得到初始权重；最后，利用初始权重分别对域转换模块和去雾模块初始化，并进行联合训练，得到最终的网络权重，实现有雾图像的清晰化处理。本发明能够在对真实有雾图像进行去雾处理的同时保留其原有特征信息，有效改善了图像去雾效果、提高了去雾方法的适用度及准确度。CN112907478ACN112907478A权利要求书1/3页1.一种基于域转换的特征域单图像去雾方法，其特征在于，包括如下步骤：(1)从公开数据集中获取图像数据，得到由合成有雾图像组成的合成有雾训练集以及真实有雾图像组成的真实有雾训练集；(2)搭建包含深度注意力机制的域转换模块，用于对合成有雾图像及真实有雾图像进行相互转换；(3)利用合成有雾训练集、真实有雾训练集对域转换模块进行训练，得到合成域转换图像、真实域转换图像以及域转换模块初始权重；(4)构建两个由通道注意力残差块组成的去雾模块，其中一个作为合成域去雾模块，用于合成域图像以及真实域转合成域图像的去雾训练；另一个作为真实域去雾模块，用于真实域图像以及真实域转合成域图像的去雾训练；(5)利用合成有雾图像及真实域转合成域图像对合成域去雾模块进行训练，利用真实有雾图像及合成域转真实域图像对真实域去雾模块进行训练，训练期间，对于存在对应无雾照片的有监督分支，采用有监督损失进行网络权重更新，对于没有对应无雾照片的无监督分支，采用无监督损失进行网络权重更新；通过训练分别得到合成域去雾模块初始权重、真实域去雾模块初始权重；(6)利用域转换模块初始权重、合成域去雾模块初始权重和真实域去雾模块初始权重分别对各个模块进行初始化操作；并利用合成有雾训练集、真实有雾训练集对域转换模块及去雾模块进行联合训练，得到最终的网络权重；(7)利用最终的网络权重，将待处理的真实有雾图像送入真实去雾模块中进行去雾处理，得到保留特征信息的无雾图像。2.根据权利要求1所述的方法，其特征在于：步骤(2)中所述的域转换模块具体包含合成域到真实域生成器、合成域判别器、真实域到合成域生成器以及真实域判别器；其中：合成域到真实域生成器由一个深度注意力模块及三个编码器模块、九个残差块、三个解码器模块构成；真实域到合成域生成器由三个编码器模块、九个残差块、三个解码器模块构成。3.根据权利要求2所述的方法，其特征在于：所述编码器模块由卷积层、BatchNorm归一化层、ReLU函数激活层构成；所述三个解码器，其中前两个由反卷积层、BatchNorm归一化层、ReLU函数激活层构成，最后一个由反卷积层、BatchNorm归一化层及tanh函数激活层构成；所述残差块由镜像填充层、卷积层、InstanceNorm归一化层及ReLU函数激活层构成；所述深度注意力模块由卷积层与ReLU激活层构成。4.根据权利要求2所述的方法，其特征在于：所述合成域判别器和真实域判别器，均是由五个卷积层及平均池化层构成，用于判断得到的图片是原始输入图片还是通过生成器学习生成的图片。5.根据权利要求2所述的方法，其特征在于：域转换模块在训练时损失函数如下：其中，Xs与Xr分别表示合成域图片xs和真实域图片xr所属的数据集，GS→R与GR→S分别表示2CN112907478A权利要求书2/3页合成域到真实域生成器和真实域到合成域生成器，DS与DR分别表示合成域判别器和真实域判别器，LGAN(GR→S,DS,Xr,Xs)与LGAN(GS→R,DR,Xs,Xr)分别表示合成域和真实域对抗损失：LCYC(GS→R,GR→S)表示循环一致性损失：LIDT(GS→R,GR→S,Xs,Xr)为恒等映射损失：其中和分别是在数据集Xs与Xr中得到的期望值，||·||1是l1范数；循环一致性损失系数为1，恒等映射损失