视频图像的拼缝搜索方法、视频图像的拼接方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113793382A(43)申请公布日2021.12.14(21)申请号202110893253.6(22)申请日2021.08.04(71)申请人北京旷视科技有限公司地址100096北京市海淀区西三旗建材城内建中路12幢一层1268号申请人北京迈格威科技有限公司(72)发明人刘伟舟胡晨周舒畅(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人唐正瑜(51)Int.Cl.G06T7/73(2017.01)G06T7/246(2017.01)G06T3/00(2006.01)G06T3/40(2006.01)权利要求书5页说明书24页附图6页(54)发明名称视频图像的拼缝搜索方法、视频图像的拼接方法和装置(57)摘要本发明提供了一种视频图像的拼缝搜索方法、视频图像的拼接方法和装置，获取第一视频中每帧视频图像的能量图；针对第一帧视频图像，基于其能量图确定其拼缝搜索结果；针对其余每帧视频图像，基于前一帧视频图像的拼缝搜索结果，确定拼缝搜索区域范围；在该范围内，基于当前视频图像的能量图确定其拼缝搜索结果。该方式基于视频图像的能量图确定拼缝搜索结果，并且，对于除第一帧以外的视频图像，先基于前一帧视频图像的拼缝搜索结果确定拼缝搜索区域范围，再在该拼缝搜索区域范围内确定拼缝搜索结果，这种约束拼缝搜索区域范围的方式可以减少前后帧视频图像的拼缝区域差异，缓解拼接后的视频在播放过程中的抖动问题，进而提升全景视频的拼接效果。CN113793382ACN113793382A权利要求书1/5页1.一种视频图像的拼缝搜索方法，其特征在于，所述方法包括：获取第一视频中每帧视频图像的能量图；其中，所述能量图用于指示所述视频图像中指定对象的位置区域和边缘；针对所述第一视频中第一帧视频图像，基于所述第一帧视频图像的能量图，确定所述第一帧视频图像的拼缝搜索结果；其中，所述拼缝搜索结果包括：视频图像与目标图像的拼缝区域；所述目标图像为第二视频中与所述视频图像对应的视频图像；针对所述第一视频中除所述第一帧以外的每帧视频图像，基于当前视频图像的前一帧视频图像的拼缝搜索结果，确定所述当前视频图像的拼缝搜索区域范围；在所述拼缝搜索区域范围内，基于所述当前视频图像的能量图确定所述当前视频图像的拼缝搜索结果。2.根据权利要求1所述的方法，其特征在于，所述获取第一视频中每帧视频图像的能量图的步骤包括：获取所述第一视频中每帧视频图像的显著性目标能量图、运动目标能量图和边缘能量图；针对所述每帧视频图像，融合该帧视频图像所对应的显著性目标能量图、运动目标能量图和边缘能量图，得到该帧视频图像的能量图。3.根据权利要求2所述的方法，其特征在于，所述获取所述第一视频中每帧视频图像的显著性目标能量图、运动目标能量图和边缘能量图的步骤包括：针对所述第一视频中的每帧视频图像，将该视频图像输入至预设神经网络模型中，以通过所述预设神经网络模型输出该帧视频图像的显著性目标能量图；基于该帧视频图像中的运动目标，确定该帧视频图像的运动目标能量图；对该帧视频图像中每个对象进行边缘检测，得到该帧视频图像的边缘能量图。4.根据权利要求1‑3任一项所述的方法，其特征在于，所述针对所述第一视频中第一帧视频图像，基于所述第一帧视频图像的能量图，确定所述第一帧视频图像的拼缝搜索结果的步骤包括：针对所述第一视频中第一帧视频图像，基于所述第一帧视频图像的能量图，采用动态规划算法，计算所述第一帧视频图像的拼缝搜索结果。5.根据权利要求1‑4任一项所述的方法，其特征在于，所述针对所述第一视频中除所述第一帧以外的每帧视频图像，基于当前视频图像的前一帧视频图像的拼缝搜索结果，确定所述当前视频图像的拼缝搜索区域范围；在所述拼缝搜索区域范围内，基于所述当前视频图像的能量图确定所述当前视频图像的拼缝搜索结果的步骤包括：针对所述第一视频中除所述第一帧以外的每帧视频图像，在当前视频图像的前一帧视频图像的拼缝搜索结果的基础上，增加预设约束条件，确定当前视频图像的拼缝搜索区域范围；在所述拼缝搜索区域范围内，基于所述当前视频图像的能量图，采用动态规划算法，确定所述当前视频图像的拼缝搜索结果。6.根据权利要求1所述的方法，其特征在于，所述第一视频中，每帧视频图像与该视频图像对应的目标图像具有重叠区域，所述重叠区域在所述视频图像中对应的区域为第一重叠区域，在所述目标图像中对应的区域为第二重叠区域；所述方法还包括：针对所述每帧视频图像，将该帧视频图像中第一重叠区域对应的图像，与该帧视频图2CN113793382A权利要求书2/5页像对应的目标图像中第二重叠区域对应的图像，输入至预先训练好的神经网络模型中，得到所述该帧视频图像的拼缝预测结果；其中，所述拼