基于生成式对抗网络的红外盲元补偿方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111369449A(43)申请公布日2020.07.03(21)申请号202010107191.7(22)申请日2020.02.21(71)申请人南京信息工程大学地址210032江苏省南京市江北新区宁六路219号(72)发明人陈苏婷金蒙张艳艳成泽华(74)专利代理机构南京经纬专利商标代理有限公司32200代理人罗运红(51)Int.Cl.G06T5/00(2006.01)G01V8/10(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于生成式对抗网络的红外盲元补偿方法(57)摘要本发明公开了一种基于生成式对抗网络的红外盲元补偿方法，用于红外成像技术领域，通过对抗网络模型结合盲元补偿函数，以生成新图像的方式实现对原图像盲元像素灰度的预测。首先，基于生成式对抗网络构建盲元补偿网络模型，通过训练使得模型学习到红外盲元图像特征并对用于训练的盲元图像数据集实现较好的补偿效果；然后，对待补偿的盲元图像进行盲元检测生成二值矩阵，结合盲元补偿损失函数生成伪造图像；最后，通过泊松融合算法将盲元图像和生成的伪造图像融合，通过迭代来提高补偿精度，最终完成对红外盲元的补偿。本发明对盲元像素灰度值的预测更加准确，恢复的图像拥有较好的细节和纹理信息，对于大量孤立盲元和盲元簇有较强的适应性。CN111369449ACN111369449A权利要求书1/2页1.一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：包括以下步骤：步骤一，收集红外图像数据集，构建生成式对抗网络模型，构建模型的损失函数；步骤二，生成随机掩膜模拟盲元，将添加掩膜的红外图像数据集作为模型的输入，以损失函数达到最小值为目标训练模型，模型的输出为生成的红外图像；步骤三，对待补偿的红外盲元图像进行盲元检测，生成二值掩膜矩阵，将红外盲元图像和二值掩膜矩阵输入训练好的模型，生成红外图像；步骤四，将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像；判断补偿后的图像质量是否满足预期；步骤五，若补偿后的图像质量未满足预期，则将补偿后的图像作为新的待补偿的红外盲元图像，重复执行步骤三和步骤四，直到质量满足预期或达到设定的最大迭代次数，输出最终的补偿后的图像。2.根据权利要求1所述的一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：所述步骤一，生成式对抗网络模型由生成器和判别器组成；所述生成器用于生成红外图像，实现对红外盲元灰度值的预测，生成器以编解码结构为原型，以全卷积结构作为生成器的卷积层，将全连接层转化为卷积层，对输入图像大小不做限制，对任意分辨率的红外盲元图像进行补偿；同时在生成器结构中的卷积层和反卷积层之间加入扩张卷积层，扩张卷积是在原有卷积核中插入数值为0的参数来扩张卷积核的大小；生成器的输入为红外盲元图像；所述判别器与生成器互补，实现与生成器的对抗，用于提高红外图像的生成质量，优化补偿效果；判别器包括全局判别器和局部判别器；全局判别器用于保证全局信息真实，其输入为生成器输出的完整生成图像；局部判别器用于保证局部纹理清晰，其输入为对完整生成图像截取随机大小的图像。3.根据权利要求2所述的一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：通过生成式对抗网络模型中生成器生成的红外图像实现对盲元像素灰度值的预测，通过构建相应的损失函数并进行最小值寻优，优化生成器生成的红外图像；所述损失函数由补偿损失和对抗损失两部分构成；补偿损失：通过掩膜矩阵提取红外图像盲元邻域的有效像素信息，生成器以均方差损失作为损失函数，结合掩膜矩阵的补偿损失函数表示为：其中LC(x,M)为补偿损失函数，x为输入的红外盲元图像，训练过程中M为随机掩膜，测试过程中M为盲元检测算法生成的二值掩膜矩阵，G(x,M)为生成器对添加掩膜的输入图像的补偿结果，即生成器生成的红外图像；·表示element-wise乘法，表示L2范数；对抗损失：通过引入对抗损失函数实现对生成模糊图像的惩罚，采用WGAN-GP判别模型的损失函数作为对抗损失函数，表示为：其中为对抗损失函数，E(*)表示数学期望，λ为梯度惩罚的权重参数，为梯度算子，·表示element-wise乘法，表示在真实分布和生成分布的连线上随机插值采样2CN111369449A权利要求书2/2页所得到的样本分布，Dg和Dl分别表示全局判别器和局部判别器；最终的目标函数表示为：其中α为权重参数，用来平衡补偿损失和对抗损失。4.根据权利要求1所述的一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：所述步骤三，采用加窗3σ方法对红外盲元图像进行盲元检测，即基于滑动窗口的自适应阈值检测，方法如下：以某一像