基于残差蒸馏网络的图像超分辨重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110111256A(43)申请公布日2019.08.09(21)申请号201910350951.4(22)申请日2019.04.28(71)申请人西安电子科技大学地址710071陕西省西安市太白南路2号(72)发明人路文孙晓鹏白富瑞查林何立火黄源飞张弘毅(74)专利代理机构陕西电子工业专利中心61205代理人王品华(51)Int.Cl.G06T3/40(2006.01)权利要求书3页说明书6页附图2页(54)发明名称基于残差蒸馏网络的图像超分辨重建方法(57)摘要本发明公开了一种基于残差蒸馏网络的图像超分辨率重建方法，主要解决现有方法重建效果差，资源消耗大的问题，其实现步骤为：1)构建残差蒸馏模块；2)级联残差蒸馏块构建残差蒸馏卷积群；3)级联低级特征提取网络、残差蒸馏模块和图像重建层构建残差蒸馏卷积网络；4)对公布的图像数据集进行预处理，并将处理后的数据分成训练数据集和测试数据集；5)利用训练数据集训练残差蒸馏网络；6)将测试数据集中的图像输入到残差蒸馏网络中，输出重建后的高分辨率图像。本发明提高了重建图像的清晰度，尤其在重建结构轮廓、自然纹理时，表现更佳，可用于受限设备采集图像的超分辨率重建。CN110111256ACN110111256A权利要求书1/3页1.一种基于残差蒸馏网络的图像超分辨率重建方法，其特征在于，包括如下：(1)搭建一个由三个残差卷积层和两个非线性激活层构成残差蒸馏模块，用于蒸馏数据特征；(2)将8个残差蒸馏模块进行级联构成残差蒸馏卷积群，并将每个残差蒸馏模块中通道数大于64的特征图叠加到残差蒸馏群末尾，再在残差蒸馏群的末尾添加压缩卷积层，用来蒸馏信息并压缩通道数量；(3)搭建两层低级特征提取网络，并在其后级联6个残差蒸馏卷积群，再在残差蒸馏卷集群后搭建图像重建层，构成残差蒸馏网络；(4)对公布的数据集进行预处理，将每个图像矩阵元素的像素值归一化到[0,1]之间，得到归一化的图像矩阵，并对图像矩阵随机进行反转、折叠和旋转变化实现图像数据增强；(5)对增强后的图像数据进行双立方插值下采样，依据放大倍数将每个图像的长度和宽度按比例缩减，得到低分辨率原始图像和高分辨率原始图像，再将低分辨率原始图像与高分辨率原始图像数据成对地进行随机扰乱，并选取其80％数据作为训练数据集，其余作为测试数据集；(6)训练残差蒸馏网络：(6a)用训练数据集中的低分辨率图像块和对应的高分辨图像块训练残差蒸馏网络，得到两个网络参数Wi和bi，其中Wi表示网络中的边连接的权值向量，bi表示网络中下一次对上一层的偏置；(6b)使用平均绝对误差MAE作为损失函数，用随机梯度下降法对这两个网络参数Wi和bi进行微调，直到损失值e＜30或者迭代次数t＞120，得到训练好的残差蒸馏网络；(7)将测试数据集中的低分辨率图像作为输入，利用训练好的残差蒸馏网络来预测得到对应的高分辨率图像，实现图像超分辨率重建。2.根据权利要求1所述的方法，其特征在于：(1)中的残差蒸馏模块,结构参数如下：结构关系表示为：第一层卷积->第一非线性激活层->第二层卷积->第二非线性激活层->第三层卷积；各层参数设定为：第一层卷积的卷积核为64个，卷积核大小为1×1，步长为1；第一非线性激活层采用非线性整流函数；第二层卷积的卷积核为72个，卷积核大小为3×3，补零为1，步长为1，卷积群设置为4；第二非线性激活层采用非线性整流函数；第三层卷积的卷积核为72个，卷积核大小为1×1，步长为1。3.根据权利要求1所述的方法，其特征在于：(2)中的压缩卷积层，是由一层卷积层构成，其参数如下：卷积核为64个，卷积核大小为1×1，步长为1。4.根据权利要求1所述的方法，其特征在于：(3)中的搭建的两层低级特征提取网络，是由两个卷积层级联构成，其参数如下：第一个卷积层的卷积核为64个，卷积核大小为3×3，补零为1，步长为1；第二个卷积层的卷积核为64个，卷积核大小为3×3，补零为1，步长为1。5.根据权利要求1所述的方法，其特征在于：(3)中搭建的图像重建层，是由三层卷积层2CN110111256A权利要求书2/3页级联构成，其参数如下：第一层卷积层的卷积核个数为64×低分辨率图像的放大倍数×低分辨率图像的放大倍数，卷积核大小为3×3，补零为1，步长为1；第二层为pixelshuffle层，参数为低分辨率图像的放大倍数；第三层卷积层的卷积核为3个，卷积核大小为3×3，补零为1，步长为1。6.根据权利要求1所述的方法，其特征在于：(5)中对增强后的图像数据进行双立方插值下采样，通过如下公式进行：其中，f(a,b)代表点(a,b)的像素值，W(a-am)和W(b-bn)均为高斯核函数，可用W(x)描述为：c取值为0