图像超分辨率重建方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114782247A(43)申请公布日2022.07.22(21)申请号202210363002.1(22)申请日2022.04.06(71)申请人温州理工学院地址325000浙江省温州市温州经济技术开发区金海三道337号(72)发明人许淑华齐鸣鸣张谦孙亚新(74)专利代理机构北京中北知识产权代理有限公司11253专利代理师黄超(51)Int.Cl.G06T3/40(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图1页(54)发明名称图像超分辨率重建方法(57)摘要本发明公开了提出了一个基于PUGAN‑Charbon的超分辨率模型(SRPUGAN‑Charbon)。该模型包括一个合成超分辨率(SR)图像的生成器网络和被训练用来区分SR图像和真实的高分辨率(HR)图像的判别器网络。本发明的图像超分辨率重建方法使用了Charbonnier损失来处理SR图像的异常值，保留了SR图像的低频特征，并且在生成对抗网络(GAN)中使用了正的未标记分类(PU)，使得判别器得到了适当的训练，进一步提升了训练的稳定性。对包括Set5、Set14和BSDS500在内的3个基准数据集的广泛实验表明，在PSNR、SSIM和视觉效果方面，所提出的SRPUGAN‑Charbon方法优于最先进的方法。CN114782247ACN114782247A权利要求书1/2页1.一种图像超分辨率重建方法，其特征在于：包括如下步骤：步骤一，将LR图像x输入生成器网络，并使用a‑Charbon正则化保存生成图像的良好、清晰可区分的局部结构，获得相应的重建图像G(x)，然后，使用Charbon惩罚函数计算真实HR图像y与重建图像G(x)的内容损失；步骤二，将真实HR图像y和重建图像G(x)导入VGG，提取各自的高层次特征φ(y)和φ(G(x))，使用Charbon惩罚函数计算高层次特征φ(y)和φ(G(x))的内容损失；步骤三，将提取的高层次特征φ(y)和φ(G(x))输入到判别器网络，并且基于PU分类正则化得到对抗损失，确定最终目标损失函数为内容损失和对抗损失的加权和；步骤四，利用自适应的a‑Charbon方法和PU分类正则化实现网络反向传播，计算各层梯度，根据训练策略，通过更新判别器网络和生成器网络的参数θd和θG来迭代优化网络；步骤五，重复步骤一至步骤四，直至损失函数值最小后结束。2.根据权利要求1所述的图像超分辨率重建方法，其特征在于：所述步骤三中的PU框架如下：其中，Pdata表示真实样本的分布情况，Z是从先验分布Pz中采样的随机噪声，D(x)是由判别器预测x为真实数据的概率，f1(·)是将输入分类为真实样本的损失，f2(·)是将输入分类为生成样本的损失，π是先验知识，即生成样本中高质量样本所占的比例。3.根据权利要求1或2所述的图像超分辨率重建方法，其特征在于：所述步骤四中的a‑Charbon的自适应演化方程如下：式中，y为估计出高分辨率图像，bk表示扭曲、模糊和抽取运算的变换矩阵，Xk表示低分辨率图像序列，γ1是正则化参数，γ2(y‑y0)是数据保真项，其中，就是a‑Charbon正则化项。4.根据权利要求1或2所述的图像超分辨率重建方法，其特征在于：所述步骤三中的目标损失函数如下：‑6‑3l＝lcharbon+0.008lVGG‑charbon+2×10lα‑charbon+10lPU‑Gen其中，lcharbon为内容损失，lVGG‑charbon为对VGG损失进行改进的损失，lα‑charbon为a‑Charb损失，lPU‑Gen表示对抗性损失。5.根据权利要求4所述的图像超分辨率重建方法，其特征在于：所述内容损失的定义如下：2CN114782247A权利要求书2/2页其中，r为上采样因子，W和H分别是HR图像的宽和高，ε＝10‑3，ρ(m)是Charbonnier惩罚函数，X为LR图像，y为原始HR图像。6.根据权利要求5所述的图像超分辨率重建方法，其特征在于：所述对VGG损失进行改进的损失定义如下：其中，φ5，4表示VGG网络中第5个最大池化层之前的第4个卷积Relu后获得的特征图，W5，4和H5，4分别表示对应特征图的宽度和高度。7.根据权利要求6所述的图像超分辨率重建方法，其特征在于：所述a‑Charb损失的定义如下：其中，θG表示生成器的参数，0≤α≤2。8.根据权利要求4所述的图像超分辨率重建方法，其特征在于：所述对抗性损失的定义如下：‑2其中，ε＝10用来防止对数项为0，θd表示判别器的参数，π表示类先验知识，即未标记数据中正数据比例，n表示训练样本的数量，λ为正则化参数。3CN114782247A说明书1/5页图