一种基于无监督学习的视频去模糊方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965540A(43)申请公布日2023.04.14(21)申请号202211275383.4G06N3/0464(2023.01)(22)申请日2022.10.18G06N3/048(2023.01)G06N3/088(2023.01)(71)申请人杭电（丽水）研究院有限公司地址323010浙江省丽水市莲都区南明山街道大沅街与绿源路交叉口东北侧半导体芯片产业园3号楼(72)发明人朱尊杰徐浙峰颜成钢孙垚棋胡冀高宇涵陈楚翘王鸿奎薛轶天殷海兵张继勇李宗鹏(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240专利代理师朱月芬(51)Int.Cl.G06T5/00(2006.01)G06T7/13(2017.01)权利要求书3页说明书7页附图2页(54)发明名称一种基于无监督学习的视频去模糊方法(57)摘要本发明公开了一种基于无监督学习的视频去模糊方法，首先构建去模糊网络；根据输入视频中每一帧图像的边缘信息，将视频中图像块归类成清晰和不清晰两类；使用不清晰的图像块生成数据集，对去模糊网络进行训练；再使用清晰的图像块生成数据集，对去模糊网络进行训练；最后使用训练好的去模糊网络对输入视频进行去模糊，得到清晰视频。本发明无需模糊视频对应的真实清晰视频，而是从输入视频中构建数据集训练去模糊网络，减小数据集和真实情况的差异，提升视频去模糊性能。CN115965540ACN115965540A权利要求书1/3页1.一种基于无监督学习的视频去模糊方法，其特征在于，包括以下步骤：步骤(1)、构建去模糊网络；步骤(2)、根据输入视频中每一帧图像的边缘信息，将视频中图像块归类成清晰和不清晰两类；步骤(3)、使用不清晰的图像块生成数据集，对去模糊网络进行训练；步骤(4)、使用清晰的图像块生成数据集，对去模糊网络进行训练；步骤(5)、使用训练好的去模糊网络对输入视频进行去模糊，得到清晰视频。2.根据权利要求1所述的一种基于无监督学习的视频去模糊方法，其特征在于，步骤(1)具体方法如下；1‑1、去模糊网络的结构，整个网络采用UNet结构，由4个卷积模块，分别为卷积模块1、卷积模块2、卷积模块3、卷积模块4、3个反卷积模块，分别为反卷积模块1、反卷积模块2、反卷积模块3和1个重建卷积层构成；卷积模块1、卷积模块2、卷积模块3和反卷积模块1串联，然后卷积模块2的输出和反卷积模块1的输出经过连接后输入反卷积模块2，而卷积模块1的输出和反卷积模块2的输出经过连接后输入卷积模块4，接着输入重建卷基层，最后与网络的输入求和得到最终的输出；每个卷积模块由1个卷积层和6个残差块串联而成，残差块依次包括1个卷积层、1个ReLU激活函数和1个卷积层，并且最后卷积层的输出会跟残差块的输入相加，得到残差块最终的输出；反卷积模块则在卷积模块最后的串联上了1个反卷积层；重建卷积层为普通的卷积层；整个去模糊网络中，除了卷积模块2和卷积模块3的第一个卷积层的步长为2，其余所有的卷积层的步长都为1，而所有反卷积层的步长都为1；所有的卷积层的卷积核大小为3，填充宽度为1；所有的反卷积层的卷积核大小为4，填充宽度为1；；1‑2、去模糊网络输入一帧模糊图像，依次经过3个卷积模块后，经过反卷积模块1，然后跟卷积模块2的输出在通道维度上堆叠后经过反卷积模块2，接着跟卷积模块1的输出在通道维度上堆叠后经过卷积模块4，再经过重建卷积层，最后与输入的图像图像相加，就可以得到去模糊后的清晰图像。3.根据权利要求2所述的一种基于无监督学习的视频去模糊方法，其特征在于，步骤(2)具体方法如下；2‑1、假设输入的模糊视频B中共有N帧图像，每一帧图像表示为Bi(i＝1，2，...，N)；使用canny边缘检测算法对每一帧图像Bi进行边缘提取，得到边缘图像Ei；2‑2、将边缘图像Ei归一化到0‑1，然后使用积分图算法对处理得到积分图Si；积分图Si中的每一个位置(x，y)的值等于边缘图像中相同位置左上角区域的所有像素之和，即：其中，H和W表示输入视频的高和宽，a和b分别表示1到x和1到y之间的所有整数；为了加速积分图的计算过过程，可以使用增量的方式计算，即：Si(x，y)＝Si(x‑1，y)+Si(x，y‑1)‑Si(x‑1，y‑1)+Ei(x，y)(2)2‑3、使用积分图Si处理边缘图像Ei，构成一张图像Pi；Pi中每个像素(x′，y′)对应边缘图像Ei中x∈[x′，x′+ps]，y∈[y′，y′+ps]区域的图像块(大小为ps*ps，设定ps＝256像素)，其取值的计算公式为：2CN115965540A权利要求书2/3页Pi(x′，y′)＝Si(x′，y′)+Si(x′+ps，y′+ps)‑Si(x′+ps，y′)‑Si(x′，y′+