一种基于深度学习的深度图像超分辨率重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110020989A(43)申请公布日2019.07.16(21)申请号201910433841.4(22)申请日2019.05.23(71)申请人西华大学地址610039四川省成都市金牛区土桥金周路999号(72)发明人董秀成范佩佩李滔任磊李亦宁金滔(74)专利代理机构成都方圆聿联专利代理事务所(普通合伙)51241代理人胡文莉(51)Int.Cl.G06T3/40(2006.01)G06N3/04(2006.01)权利要求书2页说明书5页附图3页(54)发明名称一种基于深度学习的深度图像超分辨率重建方法(57)摘要本发明公开了一种基于深度学习的深度图像超分辨率重建方法，当上采样因子r＝2时，训练整个网络，包括：从不同的深度图像公开数据集中分别选取一定数量的深度图像；数据增强：深度卷积神经网络结构的设计：处理好的网络输入数据和数据标签对整个网络进行训练，训练完成后将低分辨率深度图像输入到训练好的网络模型中，在输出层输出完成超分辨率的深度图像。本发明通过卷积神经网络的多路通道同时训练去生成高维特征图，保留了原始低分辨率图像的准确像素值，加速了整个网络的训练和收敛速度。CN110020989ACN110020989A权利要求书1/2页1.一种基于深度学习的深度图像超分辨率重建方法，其特征在于，当上采样因子r＝2时，训练整个网络，包括下列步骤：(1)从不同的深度图像公开数据集中分别选取一定数量的深度图像；(2)数据增强：将采集到的深度图像分别旋转90°、180°、270°，再按比例缩放0.8、0.9倍，增强之后图片数量增加到原来的12倍；(3)图片预处理：预处理分为两个部分，网络输入数据和数据标签；(4)深度卷积神经网络结构的设计：整个网络主要分为三个部分；第一部分为亚像素卷积神经网络；定义了卷积层，并加入了残差连接加快训练速度，学习从低分辨率深度图像到高分辨率深度图像的映射关系：第二部分为亚像素重建；将第一部分的网络输出的多路通道按照亚像素点位置进行组合，使其形成与高分辨率深度图像大小相等的单路通道输出，实现了超分辨率中的上采样；完成的这个功能的层命名为亚像素重建层；第三部分为非局部约束；对第二部分得到的亚像素重建层组合后的输出结果进行非局部约束，经过非局部约束后即可得到最终的高分辨率深度图像HR；(5)用步骤(2)中处理好的网络输入数据和数据标签对整个网络进行训练，训练完成后将低分辨率深度图像输入到训练好的网络模型中，在输出层输出完成超分辨率的深度图像。2.根据权利要求1所述的一种基于深度学习的深度图像超分辨率重建方法，其特征在于，步骤(3)包括以下步骤：(3.1)将步长设置为42，将增强后的深度图片分块成42*42大小的子图像块，后根据亚像素原理将其中处在不同亚像素组合位置的像素点分开，形成21*21大小的r×r＝4路通道子图像块，将这些处理好的数据作为训练网络的数据标签，也就是真值；(3.2)对数据增强后的深度图片逐一进行下采样，得到低分辨率深度图像，接着将低分辨率图片进行分块处理，步长设置为21，将低分辨率深度图像分块成21*21大小的子图像块，之后将每个子图像块复制成4组以对应网络数据标签4路通道的子图像块，把这些数据作为网络输入数据。3.根据权利要求1所述的一种基于深度学习的深度图像超分辨率重建方法，其特征在于，步骤(4)具体的包括，整个网络主要分为三个部分；第一部分为亚像素卷积神经网络；定义了10层卷积层，并加入了残差连接加快训练速度，学习从低分辨率深度图像到高分辨率深度图像的映射关系：output1＝F(D,{W,B})+D其中，D代表网络输入的原始低分辨率深度图像，output1表示网络输出，函数F即要学习的映射关系，W、B分别表示整个网络所训练得到的所有卷积层的权重和偏置，‘+D’表示残差连接；而各卷积层的输入输出关系可表示为：a[1]＝g(w[1]*D+b[1])a[i]＝g(w[i]*a[i-1]+b[i])其中，*操作代表卷积运算，上标i表示第i层，D代表网络输入的原始低分辨率深度图像，a[i]表示第i层卷积层的输出，w[i]、b[i]分别表示第i层卷积层所学习到的权重和偏置，函2CN110020989A权利要求书2/2页数g表示激活函数；第二部分为亚像素重建；将第一部分的网络输出output1的多路通道按照亚像素点位置进行组合，使其形成与高分辨率深度图像大小相等的单路通道输出，实现了超分辨率中的上采样；完成的这个功能的层命名为亚像素重建层；HR1＝ASS(output1)ASS即表示亚像素的组合，HR1为亚像素重建层组合后的输出结果；第三部分为非局部约束；对第二部分得到的HR1进行非局部约束，经过非局部约束后即可得到最终的高