基于深度学习的视频超分辨率重建方法、系统及介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115564655A(43)申请公布日2023.01.03(21)申请号202211392882.1(22)申请日2022.11.08(71)申请人南京理工大学地址210094江苏省南京市玄武区孝陵卫200号南京理工大学(72)发明人季栋浩潘金山(74)专利代理机构北京高沃律师事务所11569专利代理师贾瑞华(51)Int.Cl.G06T3/40(2006.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图3页(54)发明名称基于深度学习的视频超分辨率重建方法、系统及介质(57)摘要本发明涉及一种基于深度学习的视频超分辨率重建方法、系统及介质，特别涉及视频处理技术领域。所述方法包括：将待处理视频的各帧输入超分模型得到所述待处理视频各帧对应的超分辨率图像；根据所述待处理视频各帧图像对应的超分辨率图像得到所述待处理视频对应的超分辨率视频，超分模型为以待训练视频为输入，以所述待训练视频对应的超分辨率视频为输出，以频率损失函数最小为目标对BasicVSR模型进行训练得到的；所述BasicVSR模型的前向分支和后向分支均包括GDFN模块。本发明可提高高分辨率视频图像的质量。CN115564655ACN115564655A权利要求书1/2页1.一种基于深度学习的视频超分辨率重建方法，其特征在于，包括：构建超分模型；所述超分模型为以待训练视频各帧对应的图像为输入，以所述待训练视频各帧对应的超分辨率图像为输出，以频率损失函数最小为目标对BasicVSR模型进行训练得到的；所述BasicVSR模型的前向分支和后向分支均包括GDFN模块；获取待处理视频；将所述待处理视频的各帧图像输入所述超分模型得到所述待处理视频各帧图像对应的超分辨率图像；根据所述待处理视频各帧图像对应的超分辨率图像得到所述待处理视频对应的超分辨率视频。2.根据权利要求1所述的一种基于深度学习的视频超分辨率重建方法，其特征在于，所述BasicVSR模型包括前向分支、后向分支和上采样分支；所述前向分支的输出端与所述后向分支的输出端均与所述上采样分支的输入端连接。3.根据权利要求2所述的一种基于深度学习的视频超分辨率重建方法，其特征在于，所述前向分支包括N个前向传播模块；所述后向分支包括N个后向传播模块；所述上采样分支包括N个上采样传播模块；N为大于1的正整数；第i个前向传播模块的第一输入端与第i‑1个前向传播模块的第一输出端连接；所述第i个前向传播模块的第二输入端用于输入所述待处理视频的第i帧图像和第i‑1帧图像；所述第i个前向传播模块的第一输出端与所述第i+1个前向传播模块的第一输入端连接；所述第i个前向传播模块的第二输出端与第i个上采样模块的第一输入端连接；第i个后向传播模块的第一输入端与第i+1个后向传播模块的第一输出端连接；所述第i个后向传播模块的第二输入端用于输入所述待处理视频的第i帧图像和第i‑1帧图像；所述第i个后向传播模块的第一输出端与所述第i‑1个后向传播模块的第一输入端连接；所述第i个后向传播模块的第二输出端与第i个上采样模块的第二输入端连接。4.据权利要求3所述的一种基于深度学习的视频超分辨率重建方法，其特征在于，所述前向传播模块和所述后向传播模块均包括光流估计模块、空间扭曲模块和深度残差块，所述光流估计模块、所述空间扭曲模块、所述GDFN模块和所述深度残差块依次连接。5.根据权利要求1所述的一种基于深度学习的视频超分辨率重建方法，其特征在于，所述频率损失函数具体为：其中，表示频率损失函数，表示将所述待训练视频输入BasicVSR模型生成的图像，I表示所述待训练视频对应的超分辨率图像，∈表示第一常数，α表示第二常数，表示对进行快速傅立叶变换，表示对I进行快速傅立叶变换。6.一种基于深度学习的视频超分辨率重建系统，其特征在于，包括：构建模块，用于构建超分模型；所述超分模型为以待训练视频各帧对应的图像为输入，以所述待训练视频各帧对应的超分辨率图像为输出，以频率损失函数最小为目标对BasicVSR模型进行训练得到的；所述BasicVSR模型的前向分支和后向分支均包括GDFN模块；2CN115564655A权利要求书2/2页获取模块，用于获取待处理视频；超分辨率图像确定模块，用于将所述待处理视频的各帧图像输入所述超分模型得到所述待处理视频各帧图像对应的超分辨率图像；超分辨率视频确定模块；根据所述待处理视频各帧图像对应的超分辨率图像得到所述待处理视频对应的超分辨率视频。7.根据权利要求6所述的一种基于深度学习的视频超分辨率重建系统，其特征在于，所述BasicVSR模型包括前向分支、后向