视频去模糊方法及装置、视频去模糊模型训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114140363A(43)申请公布日2022.03.04(21)申请号202210117459.4(22)申请日2022.02.08(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人江邦睿谢植淮李松南(74)专利代理机构北京励诚知识产权代理有限公司11647代理人熊金凤(51)Int.Cl.G06T5/00(2006.01)G06N3/08(2006.01)G06K9/62(2022.01)G06V10/774(2022.01)权利要求书4页说明书18页附图9页(54)发明名称视频去模糊方法及装置、视频去模糊模型训练方法及装置(57)摘要本申请公开了一种视频去模糊方法、去模糊模型训练方法、装置、介质及设备，可应用于视频、视频去模糊场景，以及视频程序或小程序中。该方法包括：获取视频的当前视频帧，及当前视频帧的前后时刻的多个邻近视频帧；根据训练好的视频去模糊模型中的梯度分支模型对当前视频帧进行处理，生成当前视频帧的多个尺度的梯度信息；根据多个尺度的梯度信息及多个邻近视频帧，利用训练好的视频去模糊模型中的重建分支模型对当前视频帧进行重建，以得到当前视频帧对应的去模糊后的目标视频帧，梯度分支模型及重建分支模型为编解码器结构的模型。CN114140363ACN114140363A权利要求书1/4页1.一种视频去模糊方法，其特征在于，包括：获取视频的当前视频帧，及所述当前视频帧的前后时刻的多个邻近视频帧；根据训练好的视频去模糊模型中的梯度分支模型对所述当前视频帧进行处理，生成所述当前视频帧的多个尺度的梯度信息；根据所述多个尺度的梯度信息及所述多个邻近视频帧，利用所述训练好的视频去模糊模型中的重建分支模型对所述当前视频帧进行重建，以得到所述当前视频帧对应的去模糊后的目标视频帧，所述梯度分支模型及所述重建分支模型为编解码器结构的模型。2.根据权利要求1所述的方法，其特征在于，所述根据训练好的视频去模糊模型中的梯度分支模型对所述当前视频帧进行处理，生成所述当前视频帧的多个尺度的梯度信息包括：将所述当前视频帧及所述多个邻近视频帧，发送至所述重建分支模型进行特征提取，以得到重建特征；将所述重建特征发送至所述梯度分支模型，以使得所述梯度分支模型根据所述重建特征及所述当前视频帧，生成所述多个尺度的梯度信息，并发送至所述重建分支模型。3.根据权利要求2所述的方法，其特征在于，所述梯度分支模型包括M个梯度编码模块和M个梯度解码模块，其中，M为正整数，所述根据训练好的视频去模糊模型中的梯度分支模型对所述当前视频帧进行处理，生成所述当前视频帧的多个尺度的梯度信息包括：将所述当前视频帧发送至所述梯度分支模型进行处理，得到所述当前视频帧的模糊梯度图；对所述模糊梯度图进行卷积处理，得到所述模糊梯度图的模糊梯度特征；通过所述M个梯度编码模块对所述重建特征及所述模糊梯度特征，进行M次下采样处理；通过所述M个梯度解码模块对所述M次下采样处理的结果，进行M次上采样处理，以生成所述多个尺度的梯度信息，并发送至所述重建分支模型。4.根据权利要求3所述的方法，其特征在于，所述重建分支模型包括M个重建编码模块和M个重建解码模块，所述根据所述多个尺度的梯度信息及所述多个邻近视频帧，利用所述训练好的视频去模糊模型中的重建分支模型对所述当前视频帧进行重建，以得到所述当前视频帧对应的去模糊后的目标视频帧包括：将所述当前视频帧及所述多个邻近视频帧进行特征提取，以得到帧结构特征；通过所述M个重建编码模块对所述帧结构特征，进行M次下采样处理，得到重建中间特征，并将所述重建中间特征发送至所述M个梯度编码模块；获取所述梯度分支的所述多个尺度的梯度信息，通过所述M个重建解码模块对所述多个尺度的梯度信息及所述重建特征进行处理，以对所述当前视频帧进行重建，以得到所述当前视频帧对应的去模糊后的目标视频帧。5.根据权利要求4所述的方法，其特征在于，M=2，所述重建分支模型包括2个重建编码模块和2个重建解码模块，所述通过所述M个重建编码模块对所述帧结构特征，进行M次下采样处理，得到重建中间特征，并将所述重建中间特征发送至所述M个梯度编码模块包括：将所述帧结构特征发送至所述梯度分支模型；将所述帧结构特征发送至第一重建编码模块进行处理，得到第一重建中间特征，并将2CN114140363A权利要求书2/4页所述第一重建中间特征发送至所述梯度分支模型；将所述第一重建中间特征发送至第二重建编码模块进行处理，得到第二重建中间特征，并将所述第二重建中间特征发送至所述梯度分支模型。6.根据权利要求5所述的方法，其特征在于，所述梯度分支模型包括2个梯度编码模块、2个梯度解码模块及1个残