视频插帧方法及装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113837136A(43)申请公布日2021.12.24(21)申请号202111154081.7(22)申请日2021.09.29(71)申请人深圳市慧鲤科技有限公司地址518000广东省深圳市前海深港合作区前湾一路1号A栋201室（入驻深圳市前海商务秘书有限公司）(72)发明人于志洋张宇邹冬青任思捷(74)专利代理机构北京林达刘知识产权代理事务所(普通合伙)11277代理人刘新宇(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书6页说明书45页附图5页(54)发明名称视频插帧方法及装置、电子设备和存储介质(57)摘要本公开涉及一种视频插帧方法及装置、电子设备和存储介质，所述方法包括：获取待处理视频对应的初始待插帧，以及初始待插帧对应的第一事件信息，第一事件信息用于表征初始待插帧中物体的运动轨迹；分别对初始待插帧以及第一事件信息进行特征提取，得到初始待插帧对应的初始帧特征图以及第一事件信息对应的事件特征图；根据初始帧特征图与事件特征图，生成目标待插帧；将目标待插帧插入至待处理视频中，得到处理后视频。本公开实施例可实现提高处理后视频的画面质量。CN113837136ACN113837136A权利要求书1/6页1.一种视频插帧方法，其特征在于，包括：获取待处理视频对应的初始待插帧，以及所述初始待插帧对应的第一事件信息，所述第一事件信息用于表征所述初始待插帧中物体的运动轨迹；分别对所述初始待插帧以及所述第一事件信息进行特征提取，得到所述初始待插帧对应的初始帧特征图以及所述第一事件信息对应的事件特征图；根据所述初始帧特征图与所述事件特征图，生成目标待插帧；将所述目标待插帧插入至所述待处理视频中，得到处理后视频。2.根据权利要求1所述的方法，其特征在于，所述根据所述初始帧特征图与所述事件特征图，生成目标待插帧，包括：根据所述初始帧特征图与所述事件特征图，生成预估待插帧；根据所述待处理视频中、与所述初始待插帧的插帧时刻相邻的原始视频帧，以及所述原始视频帧对应的第二事件信息，对所述预估待插帧进行优化，得到所述目标待插帧，所述第二事件信息用于表征所述原始视频帧中物体的运动轨迹。3.根据权利要求2所述的方法，其特征在于，所述初始帧特征图包括S个尺度，所述事件特征图包括S个尺度，S为正整数，其中，所述根据所述初始帧特征图与所述事件特征图，生成预估待插帧，包括：根据第0尺度的初始帧特征图与第0尺度的事件特征图，得到第0尺度的融合特征图；根据第(s‑1)尺度的融合特征图，将第s尺度的初始帧特征图与第s尺度的事件特征图进行空间对齐，得到第s尺度的可融合初始帧特征图与第s尺度的可融合事件特征图；根据所述第(s‑1)尺度的融合特征图、所述第s尺度的可融合初始帧特征图以及所述第s尺度的可融合事件特征图，得到第s尺度的融合特征图；对第(S‑1)尺度的融合特征图进行解码处理，得到所述预估待插帧；其中，s∈[1,S)。4.根据权利要求3所述的方法，其特征在于，所述根据第(s‑1)尺度的融合特征图，将第s尺度的初始帧特征图与第s尺度的事件特征图进行空间对齐，得到第s尺度的可融合初始帧特征图以及第s尺度的可融合事件特征图，包括：对所述第(s‑1)尺度的融合特征图进行上采样，得到上采样特征图，所述上采样特征图与所述第s尺度的初始帧特征图以及所述第s尺度的事件特征图的尺寸相同；根据所述上采样特征图与所述第s尺度的初始帧特征图之间的第一空间转换关系，得到所述第s尺度的可融合初始帧特征图；根据所述上采样特征图与所述第s尺度的事件特征图之间的第二空间转换关系，得到所述第s尺度的可融合事件特征图；其中，所述第s尺度的可融合初始帧特征图、所述第s尺度的可融合事件特征图与所述上采样特征图处于同一特征空间中。5.根据权利要求4所述的方法，其特征在于，所述第一空间转换关系是根据所述第s尺度的初始帧特征图在空间转换时的第一像素尺寸缩放信息与第一偏置信息，以及所述上采样特征图的特征信息确定的；所述第二空间转换关系是根据所述第s尺度的事件特征图在空间转换时的第二像素尺寸缩放信息与第二偏置信息，以及所述上采样特征图的特征信息确定的；2CN113837136A权利要求书2/6页其中，像素尺寸缩放信息表示空间转换中每个像素点的尺寸缩放比例，偏置信息表示空间转换中每个像素点的位置偏移量。6.根据权利要求3‑5任一项所述的方法，其特征在于，所述根据所述第s‑1尺度的融合特征图、所述第s尺度的可融合初始帧特征图以及所述第s尺度的可融合事件特征图，得到第s尺度的融合特征图，包括：对上采样特征图进行卷积处理以及非