基于补丁匹配与合成的视频去模糊方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114140739A(43)申请公布日2022.03.04(21)申请号202111034905.7(22)申请日2021.09.04(71)申请人重庆大学地址400030重庆市沙坪坝区沙正街174号(72)发明人张超李伟红杨利平王欣然侯俊岭(74)专利代理机构重庆华科专利事务所50123代理人康海燕(51)Int.Cl.G06V20/52(2022.01)G06V20/40(2022.01)G06V10/74(2022.01)G06V10/80(2022.01)G06T5/00(2006.01)G06T7/40(2017.01)权利要求书2页说明书4页附图2页(54)发明名称基于补丁匹配与合成的视频去模糊方法(57)摘要本发明提出一种基于补丁匹配与合成的视频去模糊方法，本方法设计了多尺度补丁匹配模块和补丁合成模块，首先利用多尺度补丁匹配模块将输入的多个视频帧特征离散为不同尺度、部分重叠的特征补丁，然后从特征补丁集合中匹配相似、可用的锐利补丁，为目标特征补丁的复原提供关键的纹理细节。然后利用补丁合成模块融合多尺度补丁匹配模块得到的锐利补丁，帮助目标补丁的去模糊。本方法通过直接匹配、融合视频帧序列中任意相似补丁来获取视频帧间时空依赖，从而有效改善视频去模糊的效果。CN114140739ACN114140739A权利要求书1/2页1.一种基于补丁匹配与合成的视频去模糊方法，其特征在于，包括以下步骤：(1)通过编解码网络初步提取图像特征，作为多尺度补丁匹配模块的输入特征；(2)在多尺度补丁匹配模块中，首先利用三个不同参数的可变形卷积对所述输入特征进行卷积处理，提取出能够作为图像关键基准的查询特征、键特征与值特征；然后在通道维度将特征均分，分别在不同尺度下进行补丁匹配；在不同尺度下匹配到相似、可用的锐利补丁后，再将其聚合为锐利特征；(3)以不同尺度下的锐利特征与值特征作为补丁合成模块的输入，将锐利特征与值特征有效融合，同时在值特征指导下合成融合特征，最后将不同尺度所得融合特征聚合形成视频图像复原特征，作为补丁合成模块的最终输出，用于复原视频图像。2.根据权利要求1所述的基于补丁匹配与合成的视频去模糊方法，其特征在于，所述步骤3中，在不同尺度下匹配到相似、可用的锐利补丁后的具体方法是：通过展开操作，将查询特征补丁与键特征补丁重塑为一维向量，计算出补丁间的相似度si,j，其中，1≤i,j≤N，N为图像特征离散为补丁后的补丁数量，si,j表示第i补丁与第j补丁之间的相似度，qi表示第i块查询补丁，kj表示第j块键补丁，“·”表示矩阵相乘，C为通道数，patch_size为特征补丁空间大小。3.根据权利要求1所述的基于补丁匹配与合成的视频去模糊方法，其特征在于，所述步骤2中对锐利特征的聚合是：对所有空间补丁的深度对应进行建模，然后通过相关值补丁的加权总和，获得每个补丁匹配后的锐利补丁：其中，oi表示图像中第i个补丁匹配后所得的锐利补丁，vj表示第j个值补丁；在得到视频帧的所有锐利补丁输出后，将锐利补丁折叠回原始空间大小的特征，从而得到锐利特征。4.根据权利要求1或2所述的基于补丁匹配与合成的视频去模糊方法，其特征在于关注权值的计算：其中，ri,j表示对于第i补丁，第j补丁的关注权重，si,j表示第i补丁与第j补丁之间的相似度，N为图像特征离散为补丁后的补丁数量。5.根据权利要求4所述的基于补丁匹配与合成的视频去模糊方法，其特征在于所述步骤(3)中，各尺度锐利补丁有效融合采用如下公式：Fi＝f(Vi)+Conv(Concat(Si,Vi))⊙f(Vi)其中，Fi表示第i尺度下补丁融合后的输出特征，Vi表示第i尺度下的值特征，Si表示第i尺度下的锐利特征，f(Vi)表示Vi的映射，Conv和Concat分别表示卷积和连接操作，运算符⊙表示特征映射之间的元素级乘法。2CN114140739A权利要求书2/2页6.根据权利要求4所述的基于补丁匹配与合成的视频去模糊方法，其特征在于所述步骤(3)中，所述补丁合成模块的最终输出表示为：Fout＝Conv(Concat(F1,F2,…,Fn))其中，Fout表示补丁合成模块的最终输出，n表示网络中共有n个补丁尺度。3CN114140739A说明书1/4页基于补丁匹配与合成的视频去模糊方法技术领域[0001]本发明属于视频图像处理技术领域。背景技术[0002]现今各领域(如安防领域的视频监控、卫星的气象监控等)随时随刻都产生着大量的视频数据。但由于拍摄过程中设备抖动、对象运动、景深变换等原因，所得到的视频不可避免包含不同程度的模糊，这严重影响了视频的后续处理任务(如视觉跟踪、同步定位与建图、3D重建等)。因此，视频去模糊技术被广泛地