一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113724134A(43)申请公布日2021.11.30(21)申请号202110963671.8(22)申请日2021.08.20(71)申请人广东工业大学地址510090广东省广州市越秀区东风东路729号(72)发明人崔洪刚杨夏宁(74)专利代理机构广州粤高专利商标代理有限公司44102代理人刘俊(51)Int.Cl.G06T3/40(2006.01)G06N3/04(2006.01)G06K9/62(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法(57)摘要本发明提供一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法，包括以下步骤：S1：获取退化无人机航拍图像数据集和高分辨率航拍图像数据集；S2：根据退化无人机航拍图像数据集构建模糊核池；S3：根据模糊核池构建图像退化模型；S4：通过图像退化模型对高分辨率航拍图像数据集进行退化处理，生成高‑低分辨率图像对数据集；S5：构建残差蒸馏网络，利用模糊核池和高‑低分辨率图像对数据集对残差蒸馏网络进行训练，得到训练好的残差蒸馏网络；S6：通过训练好的残差蒸馏网络重建出超分辨率图像。本发明提供一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法，解决了目前图像超分辨率重建模型对设备性能的要求非常高的问题。CN113724134ACN113724134A权利要求书1/2页1.一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法，其特征在于，包括以下步骤：S1：获取退化无人机航拍图像数据集和高分辨率航拍图像数据集；S2：根据所述退化无人机航拍图像数据集构建模糊核池；S3：根据所述模糊核池构建图像退化模型；S4：通过所述图像退化模型对高分辨率航拍图像数据集进行退化处理，生成高‑低分辨率图像对数据集；S5：构建残差蒸馏网络，利用所述模糊核池和高‑低分辨率图像对数据集对所述残差蒸馏网络进行训练，得到训练好的残差蒸馏网络；S6：通过训练好的残差蒸馏网络重建出超分辨率图像。2.根据权利要求1所述的一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法，其特征在于，在步骤S2中，将所述退化无人机航拍图像数据集中的各个图像分别通过生成对抗网络提取得到相应的模糊核，从而构建出适用于无人机航拍环境的模糊核池。3.根据权利要求1所述的一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法，其特征在于，所述图像退化模型为：sxdataset＝(y*kpool)↓+n其中，xdataset表示退化后的数据，y表示输入图像退化模型的数据，kpool表示模糊核池，↓s表示比例因子为s的下采样操作，n表示噪声。4.根据权利要求1所述的一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法，其特征在于，在所述残差蒸馏网络中，输入的图像先通过残差结构提取特征，并且各个残差结构分别引出蒸馏残差分支，所述蒸馏残差分支通过1×1的卷积层实现，最后将各个蒸馏残差分支的特征信息进行拼接以完成信息的融合操作，具体如下：Fdistilled_1，F1＝fconv1×1(xin)，fconv3×3(xin)+xinFdistilled_2，F2＝fconv1×1(F1)，fconv3×3(F1)+F1Fdistilled_3，F3＝fconv1×1(F2)，fconv3×3(F2)+F2Fdistilled_4＝fconv1×1(F3)Fout＝fconcat(Fdistilled_1，Fdistilled_2，Fdistilled_3，Fdistilled_4)其中，Fdistilled_1、Fdistilled_2、Fdistilled_3、Fdistilled_4分别表示各个通过1×1卷积蒸馏之后的残差特征图，F1、F2、F3分别表示经过第一、第二、第三个残差结构输出的特征图，fconv1×1表示1×1卷积操作，fconv3×3表示3×3卷积操作，xin表示输入的图像，Fout表示残差蒸馏网络的输出，fconcat表示特征图的拼接操作。5.根据权利要求4所述的一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法，其特征在于，在对所述残差蒸馏网络进行训练的过程中，还包括：对输入所述残差蒸馏网络的模糊核通过映射变换操作得到模糊核特征，并将模糊核特征与各个残差特征图进行拼接。6.根据权利要求5所述的一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法，其特征在于，假设输入所述残差蒸馏网络的信息包括一个尺寸为p×p、噪声等级为δ的模糊核，以及一张尺寸为W×H×C的低分辨率图像，其中，p表示模糊核的尺寸，W、H、C分别表示低分辨率图像的宽度、高度、通道数；首先，对模糊核进行向量化得到规范化尺寸为p2×1的向量，然后通过主成分分析技术