一种基于视频前景提取的视频融合方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114648476A(43)申请公布日2022.06.21(21)申请号202210252167.1(22)申请日2022.03.15(71)申请人中国科学院深圳先进技术研究院地址518055广东省深圳市南山区深圳大学城学苑大道1068号(72)发明人程章林崔晓亮(74)专利代理机构深圳市科进知识产权代理事务所(普通合伙)44316专利代理师刘建伟(51)Int.Cl.G06T5/50(2006.01)G06T17/00(2006.01)G06T7/194(2017.01)G06T7/70(2017.01)权利要求书2页说明书7页附图3页(54)发明名称一种基于视频前景提取的视频融合方法及装置(57)摘要本发明涉及一种基于视频前景提取的视频融合方法及装置。该方法及装置提取多个视频中的前景及其轮廓，在三维虚拟场景中对提取的视频前景标定位姿，将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型，在三维模型中融合多个视频的前景。本发明能够提取多视频中的前景并在虚拟三维场景中进行融合展示，能够根据视角计算前景的位姿，从而在任意视角下得到合理的观察结果，给用户良好的使用体验。CN114648476ACN114648476A权利要求书1/2页1.一种基于视频前景提取的视频融合方法，其特征在于，包括以下步骤：提取多个视频中的前景及其轮廓；在三维虚拟场景中对提取的视频前景标定位姿；将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型；在三维模型中融合多个视频的前景。2.根据权利要求1所述的基于视频前景提取的视频融合方法，其特征在于，所述提取多个视频中的前景及其轮廓包括：采用高斯混合模型将多个视频中的前景与背景进行分离和提取，然后通过形态学方法提取前景的轮廓并计算包围盒。3.根据权利要求2所述的基于视频前景提取的视频融合方法，其特征在于，所述在三维虚拟场景中对提取的视频前景标定位姿包括：假定前景模型所在的平面与成像平面平行，提取出每个监控视频中多个前景的轮廓并计算得到包围盒，从监控相机的光心处出发向成像平面上包围盒的下边缘中心发出一条射线，该射线与场景的交点为前景在虚拟三维场景的位置。4.根据权利要求3所述的基于视频前景提取的视频融合方法，其特征在于，所述将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型包括：将位姿标定之后的视频前景结合视频前景轮廓通过constraineddelaunaytriangulation算法生成对应的三维模型。5.根据权利要求4所述的基于视频前景提取的视频融合方法，其特征在于，所述在三维模型中融合多个视频的前景包括：当多个监控相机同时拍摄到同一个物体时，根据用户的视点选取最优的前景用于展示；计算来自不同视频的前景之间的距离，如果多个前景彼此之间的距离近，将这些前景视作归属于同一个对象并放入候选集；然后计算从前景坐标到观察相机的单位方向向量vf，同时根据其对应监控相机的成像平面法向量计算得到每个前景所在平面的单位法向量nf，在候选集中能够将vf·nf最大化的前景被选作最优前景。6.根据权利要求1所述的基于视频前景提取的视频融合方法，其特征在于，所述方法还包括：根据观察相机调整前景位姿保证前景始终正对观察相机。7.一种基于视频前景提取的视频融合装置，其特征在于，包括：提取单元，用于提取多个视频中的前景及其轮廓；位姿标定单元，用于在三维虚拟场景中对提取的视频前景标定位姿；三维模型生成单元，用于将位姿标定之后的视频前景结合视频前景轮廓生成对应的三维模型；融合单元，用于在三维模型中融合多个视频的前景。8.根据权利要求7所述的基于视频前景提取的视频融合装置，其特征在于，所述装置还包括：位姿调整单元，用于根据观察相机调整前景位姿保证前景始终正对观察相机。9.一种存储介质，其特征在于，所述存储介质存储有能够实现权利要求1至6中任意一2CN114648476A权利要求书2/2页项所述基于视频前景提取的视频融合方法的程序文件。10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的基于视频前景提取的视频融合方法。3CN114648476A说明书1/7页一种基于视频前景提取的视频融合方法及装置技术领域[0001]本发明涉及一种基于视频前景提取的视频融合方法及装置。背景技术[0002]借助无人机或者数码相机拍摄监控场景的图片可用于重建三维场景。在进行重建之前，图片的拍摄有一定的标准，首先拍摄的图片应该完全覆盖要重建的场景；其次每张图片应该与其它至少一张图片有30％以上的重叠；最后每张图片不应该包含特写镜头。一旦所有的图片都拍摄完毕，再通过SfM和MVS算法进行三维重建以获取拍摄图片的相机位姿、场景的稀疏点