基于深度学习的模糊视频超分辨率方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110458756A(43)申请公布日2019.11.15(21)申请号201910554229.2(22)申请日2019.06.25(71)申请人中南大学地址410083湖南省长沙市岳麓区麓山南路932号(72)发明人郭海富郭克华任盛(74)专利代理机构长沙正奇专利事务所有限责任公司43113代理人马强王娟(51)Int.Cl.G06T3/40(2006.01)G06T5/00(2006.01)G06N3/04(2006.01)权利要求书2页说明书5页附图1页(54)发明名称基于深度学习的模糊视频超分辨率方法及系统(57)摘要本发明公开了一种基于深度学习的模糊视频超分辨率方法，在单帧深度反投影超分辨率模型的基础上，设计了多帧模糊视频超分辨率模型，提升了模糊视频超分辨率重建质量并且支持高倍数(×8)重建。针对运动模糊视频超分辨率重建后视频边缘轮廓等细节信息不清晰，视频质量低的问题，本发明通过在深度反投影超分辨率模型上引入递归学习和多帧融合策略构建模糊视频超分辨率模型。该模型通过学习模糊低分辨率视频帧到清晰高分辨率视频帧的非线性映射，能够重建边缘轮廓清晰的超分辨率视频，提升了运动模糊视频超分辨率重建的质量，使得人们能够更好的获取视频信息，例如超分辨率重建医疗视频帮助医生清楚观察患者的病灶部位，提高疾病确诊和治愈的可能。CN110458756ACN110458756A权利要求书1/2页1.一种基于深度学习的模糊视频超分辨率方法，其特征在于，包括以下步骤：1)对运动模糊视频帧进行预处理，得到运动补偿后的去模糊视频帧序列；2)以运动补偿后的去模糊视频帧序列为输入，构建深度反投影视频超分辨率模型；3)使用DIV2K数据集通过Ptorch训练出针对不同尺寸的超分辨率模型，将训练好的超分辨率模型参数提供给深度反投影视频超分辨率模型使用；4)对新输入的运动模糊视频帧，经步骤1)预处理后通过步骤3)的深度反投影视频超分辨率模型重建视频帧序列。2.根据权利要求1所述的基于深度学习的模糊视频超分辨率方法，其特征在于，步骤1)中，对运动模糊视频帧进行预处理包括：使用基于条件对抗网络的运动模糊网络去除低分辨率运动模糊视频帧的运动模糊；使用基于深度学习的光流估计方法获取去除了运动模糊的低分辨率运动模糊视频帧间的运动估计；根据运动模糊视频帧间的运动估计进行视频帧间的运动补偿。3.根据权利要求1所述的基于深度学习的模糊视频超分辨率方法，其特征在于，步骤2)的具体实现过程包括：a)对以某一运动模糊视频帧为中心的连续三帧运动补偿的图像，各使用一个卷积层提取低分辨率图像的初始特征；b)利用一个卷积层融合步骤a)得到的所有初始特征；c)利用1×1卷积处理融合后的初始特征，得到处理后的低分辨率特征图像；d)将低分辨率特征图像输入到第一递归学习模块；所述第一递归学习模块包括上投影模块和下投影模块；e)使用反卷积将输入的低分辨率视频帧Lt-1放大为然后用卷积将生成的高分辨率视频帧缩小，将缩小结果与Lt-1相减计算残差，最后将残差放大到与同一尺寸，加上放大的残差后得到该投影单元生成的高分辨率图像；f)将所述高分辨率图像送入下投影模块，使用卷积将输入Ht缩小，然后用反卷积将缩小生成的放大，将结果与Ht相减计算残差，最后将残差缩小与同一尺寸，加上缩小的残差后得到该下投影单元生成的低分辨率图像；g)执行一次与步骤e)、步骤f)相同的操作；h)重复执行e)～g)4次；i)重复执行步骤e)到h)n次，深度级联所有步骤e)产生的高分辨率特征图像，得到高分辨率特征图像集合；j)使用一个卷积层通过高分辨率特征图像集合重建出超分辨率图像；k)使用pytorch将步骤a)-j)构建为深度反投影视频超分辨率模型。4.根据权利要求1所述的基于深度学习的模糊视频超分辨率方法，其特征在于，步骤3)的具体实现过程包括：1)将DIV2K数据集处理成不同缩放尺度的低分辨率图像和高分辨率图像；2)根据DIV2K数据集不同缩放尺度，将不同尺寸的低分辨率图像和对应的高分辨率图像输入到深度反投影视频超分辨率模型中进行训练，采用Pytorch深度学习框架分别训练出不同缩放尺度的单尺度超分辨率模型参数；2CN110458756A权利要求书2/2页3)在使用不同尺度的超分辨率模型时，将训练好的对应尺度超分辨率模型参数进行加载，以重建运动模糊视频帧。5.一种基于深度学习的模糊视频超分辨率系统，其特征在于，包括以下步骤：预处理单元，用于对运动模糊视频帧进行预处理，得到运动补偿后的去模糊视频帧序列；建模单元，用于以运动补偿后的去模糊视频帧序列为输入，构建深度反投影视频超分辨率模型；训练单元，用于使用DIV2K数据集通过Ptorch训练出针对不同尺寸的