视频拼接方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115834799A(43)申请公布日2023.03.21(21)申请号202211059030.0(22)申请日2022.08.31(71)申请人爱芯元智半导体（上海）有限公司地址201700上海市青浦区双联路158号1幢11层B区1190室(72)发明人刘建伟(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463专利代理师肖鹏(51)Int.Cl.H04N5/265(2006.01)G06T5/50(2006.01)权利要求书2页说明书9页附图3页(54)发明名称视频拼接方法、装置、设备及存储介质(57)摘要本申请提供一种视频拼接方法、装置、设备及存储介质，涉及视频合成技术领域，该方法包括：获取拍摄设备在多个视场角下的视频数据，并将所述视频数据按帧输入至滑窗中；基于所述滑窗内每一帧视频数据的帧位姿和所述视频数据的特征点的位深信息构建场景模型；将第一视频数据的第一特征点与所述场景模型的特征点进行匹配，得到匹配结果，并基于所述匹配结果对所述视频数据进行拼接，以在拼接完成后得到拼接视频。采用本申请实施例中提供的方法可以通过匹配当前帧和场景中的特征点来确定当前帧的绝对位置，从而实现数量较多的帧以较小的累积误差拼接成全景图，提高图像质量。CN115834799ACN115834799A权利要求书1/2页1.一种视频拼接方法，其特征在于，包括：获取拍摄设备在多个视场角下的视频数据，并将所述视频数据按帧输入至滑窗中；基于所述滑窗内每一帧视频数据的帧位姿和所述视频数据的特征点的位深信息构建场景模型；其中，所述特征点的位深信息是通过对所述特征点进行三角化得到的；将第一视频数据的第一特征点与所述场景模型的特征点进行匹配，得到匹配结果，并基于所述匹配结果对所述视频数据进行拼接，以在拼接完成后得到拼接视频；其中，所述第一视频数据为输入所述滑窗的视频数据后任一帧的视频数据。2.根据权利要求1所述的方法，其特征在于，所述将所述第一视频数据的第一特征点与所述场景模型的特征点进行匹配，得到匹配结果，并基于所述匹配结果对所述视频数据进行拼接，以在拼接完成后得到拼接视频包括：匹配所述第一视频数据与所述场景模型的特征点，并基于匹配的特征点确定所述第一视频数据的帧位姿；将所述第一特征点进行三角化，确定所述第一特征点的位深信息；基于所述帧位姿和所述位深信息对所述视频数据进行拼接，以在拼接完成后得到所述拼接视频。3.根据权利要求1所述的方法，其特征在于，在所述基于所述滑窗内每一帧视频数据的帧位姿和所述视频数据的特征点的位深信息构建场景模型之前，所述方法还包括：确定所述第一视频数据与所述滑窗的视差值，并基于所述视差值确定移除所述滑窗内的目标帧。4.根据权利要求3所述的方法，其特征在于，所述确定第一视频数据与所述滑窗的视差值，并基于所述视差值确定移除所述滑窗内的目标帧包括：在所述视差值高于预设时差阈值时，移除所述滑窗内第一目标帧之前的视频数据；或在所述视差值不高于所述预设时差阈值时，移除所述滑窗内第二目标帧之后的视频数据；其中，所述第一目标帧和所述第二目标帧均为所述滑窗内的一帧。5.根据权利要求4所述的方法，其特征在于，所述预设视差阈值包括第一预设时差阈值和第二预设时差阈值；所述确定第一视频数据与所述滑窗的视差值，并基于所述视差值确定移除所述滑窗内的目标帧包括：在所述视差值高于第一预设时差阈值时，移除所述滑窗内第一目标帧之前的视频数据；或在所述视差值低于所述第二预设时差阈值时，移除所述滑窗内第二目标帧之后的视频数据。6.根据权利要求3所述的方法，其特征在于，在所述确定第一视频数据与所述滑窗的视差值之前，所述方法包括：对所述滑窗中的视频数据进行初始化操作，其中，所述初始化操作包括：计算所述滑窗内每一帧视频数据的特征点和描述子；分别匹配每一帧视频数据与所述滑窗内其他帧的特征点，以确定所述滑窗内的参考帧；根据所述参考帧与所述滑窗内其他帧的特征点匹配结果确定所述滑窗内每一帧视频2CN115834799A权利要求书2/2页数据的帧位姿；对所述特征点进行三角化，确定所述特征点的位深信息。7.根据权利要求1所述的方法，其特征在于，所述基于所述滑窗内每一帧视频数据的帧位姿和所述视频数据的特征点的位深信息构建场景模型包括：基于所述滑窗内每一帧视频数据的帧位姿和所述特征点的位深信息确定所述拍摄设备在拍摄两帧视频数据时的变换矩阵；基于SFM算法和所述变换矩阵构造所述场景模型。8.根据权利要求1所述的方法，其特征在于，其中，所述特征点包括ORB特征点或SIFT特征点。9.一种视频拼接装置，其特征在于，包括：获取模块，用于获取拍摄设备在多个视场角下的视频数据，并将所述视频数据按帧输入至滑窗中；场景模型构建模块，用于