一种视频去抖动方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113766117A(43)申请公布日2021.12.07(21)申请号202011241258.2(22)申请日2020.11.09(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人车广富郭景昊安山(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张效荣王志远(51)Int.Cl.H04N5/232(2006.01)G06T7/30(2017.01)权利要求书2页说明书13页附图5页(54)发明名称一种视频去抖动方法和装置(57)摘要本发明公开了一种视频去抖动方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取包含目标对象的第一视频帧和第二视频帧，确定目标对象在第一视频帧和第二视频帧中的区域位置；其中，第一视频帧为上一时刻目标对象对应的视频帧，第二视频帧为当前时刻目标对象对应的视频帧；根据帧间偏移量对目标对象在当前时刻下的自由度位姿估计进行校正，根据校正后的自由度位姿估计对目标对象进行渲染成像。该实施方式实现了在线实时视频去抖动，拓展了视频去抖动的应用场景，提升了用户体验。CN113766117ACN113766117A权利要求书1/2页1.一种视频去抖动方法，其特征在于，包括：获取包含目标对象的第一视频帧和第二视频帧，确定所述目标对象在所述第一视频帧和所述第二视频帧中的区域位置；其中，所述第一视频帧为上一时刻所述目标对象对应的视频帧，所述第二视频帧为当前时刻所述目标对象对应的视频帧；根据所述目标对象在所述第一视频帧和所述第二视频帧中的区域位置确定所述目标对象的帧间偏移量；根据所述帧间偏移量对所述目标对象在当前时刻下的自由度位姿估计进行校正，根据校正后的自由度位姿估计对所述目标对象进行渲染成像。2.根据权利要求1所述的视频去抖动方法，其特征在于，所述确定所述目标对象在所述第一视频帧和所述第二视频帧中的区域位置，包括：分别对所述第一视频帧和所述第二视频帧进行图像分割处理，得到所述目标对象在所述第一视频帧和所述第二视频帧中的区域图像；所述区域图像进行二值化处理，根据二值化处理结果确定所述目标对象在所述第一视频帧和所述第二视频帧中的区域位置。3.根据权利要求1所述的视频去抖动方法，其特征在于，所述根据所述目标对象在所述第一视频帧和所述第二视频帧中的区域位置确定所述目标对象的帧间偏移量的步骤包括：根据所述目标对象在所述第一视频帧和所述第二视频帧中的区域位置，从所述第一视频帧和所述第二视频帧中分别提取所述目标对象对应的视觉线索点；根据所述视觉线索点确定所述目标对象对应的帧间偏移量。4.根据权利要求1所述的视频去抖动方法，其特征在于，所述根据所述帧间偏移量对所述目标对象在当前时刻下的位姿进行校正的步骤包括：获取第一自由度位姿估计和第二自由度位姿估计；其中，所述第一自由度位姿估计是所述目标对象在上一时刻下的自由度位姿估计，所述第二自由度位姿估计是所述目标对象在当前时刻下的自由度位姿估计；自由度位姿估计包括第一矩阵和第二矩阵，所述第一矩阵由三维空间朝向参数构成，所述第二矩阵由三维空间位置参数构成；根据所述帧间偏移量对所述第一自由度位姿估计进行校正；根据所述校正后的第一自由度位姿估计对所述第二自由度位姿估计进行校正。5.根据权利要求4所述的视频去抖动方法，其特征在于，所述根据所述帧间偏移量对所述第一自由度位姿估计进行校正的步骤包括：根据所述帧间偏移量对所述第一自由度位姿估计中的第二矩阵进行校正，根据校正后第二矩阵对所述第一自由度位姿估计进行校正。6.根据权利要求4所述的视频去抖动方法，其特征在于，所述根据所述校正后的第一自由度位姿估计对所述第二自由度位姿估计进行校正的步骤包括：计算所述第二自由度位姿估计和校正后的第一自由度位姿估计之间的重投影误差，根据所述重投影误差对所述第一矩阵进行校正；根据校正后的第一矩阵和校正后的第二矩阵，对所述目标对象在当前时刻下的自由度位姿估计进行校正。7.根据权利要求6所述的视频去抖动方法，其特征在于，所述根据所述重投影误差对所述第一矩阵进行校正的步骤包括：2CN113766117A权利要求书2/2页根据所述重投影误差与所述学习率之间的对应关系计算所述第一矩阵和所述第二矩阵的学习率；根据所述重投影误差与所述第一矩阵和所述第二矩阵的学习率对所述第一矩阵进行校正。8.一种视频去抖动装置，其特征在于，包括：区域位置确定模块，用于获取包含目标对象的第一视频帧和第二视频帧，确定所述目标对象在所述第一视频帧和所述第二视频帧中的区域位置；其中，所述第一视频帧为上一时刻所述目标对象对应的视频帧，所述第二视频帧为当