一种监控实时视频与场景三维模型融合方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111415416A(43)申请公布日2020.07.14(21)申请号202010243738.6G06T5/50(2006.01)(22)申请日2020.03.31H04L29/06(2006.01)H04N7/18(2006.01)(71)申请人武汉大学地址430072湖北省武汉市武昌区珞珈山武汉大学(72)发明人胡庆武赵鹏程艾明耀李加元王顺利(74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙)42222代理人严彦(51)Int.Cl.G06T17/05(2011.01)G06T17/20(2006.01)G06T15/04(2011.01)G06T7/70(2017.01)权利要求书2页说明书5页附图1页(54)发明名称一种监控实时视频与场景三维模型融合方法及系统(57)摘要本发明公开了一种监控实时视频与场景三维模型融合方法及系统，包括建立监控场景真实感三维模型，视频监控摄像机位姿计算，摄像机视频帧图像到场景三维模型映射关系计算，摄像机实时动态监控视频流传输解码至可视化客户端，动态监控视频流实时三维模型纹理映射和渲染。本发明提出了一套实时监控视频与场景三维模型无缝融合的技术方案，实现视频画面按照严密的几何关系融入到三维场景中，利用动态监控视频数据，增强了场景三维可视化表达效果，为三维实时“Video+GIS”建设提供了一种高效、可靠和可行的方法，具有成本低、可操作性强等优势，在智慧城市、公共管理、安防监控等领域具有广阔的应用前景。CN111415416ACN111415416A权利要求书1/2页1.一种监控实时视频与场景三维模型融合方法，其特征在于，包括如下步骤：步骤1，建立监控场景真实感三维模型，作为视频监控的背景地图平台，包括以下子步骤，步骤1.1，采用无人机倾斜摄影获取监控场景的多视影像；步骤1.2，对多视影像进行空三和密集匹配，获取监控场景实景三维模型；步骤1.3，根据地面控制点对实景三维模型进行地理参考坐标转换，将实景三维模型纳入到统一的绝对坐标系；步骤2，视频监控摄像机位姿计算，以作为将摄像机监控视频纳入到场景三维模型的基础；步骤3，摄像机视频帧图像到场景三维模型映射关系计算，包括以下步骤，步骤3.1，根据摄像机位姿、摄像机视场角和焦距，计算摄像机视场可视范围；步骤3.2，对摄像机可视范围和场景三维模型进行求交运算，计算摄像机可视的三维模型顶点；步骤3.3，根据摄像机可视的三维模型顶点建立不规则三角形格网；步骤3.4，采用深度缓存可视分析算法，建立摄像机视频帧图像与可视的三维模型不规则格网面片的映射关系；步骤4，摄像机实时动态监控视频流传输解码至可视化客户端；步骤5，动态监控视频流实时三维模型纹理映射和渲染，包括以下步骤，步骤5.1，根据客户端可视化请求，将实时视频流帧转换成标准纹理图像；步骤5.2，根据步骤4建立摄像机视频帧图像到场景三维模型映射关系，以纹理映射的方式将视频帧标准纹理图像贴合到三维模型表面；步骤5.3，按照三维场景可视化刷新频率，在三维场景中实时渲染实时视频流；步骤5.4，根据监控管理需求，调整参数，实现实时监控视频与场景三维模型融合可视化表达；所述参数包括场景可视化比例、角度和光照。2.根据权利要求1所述的一种监控实时视频与场景三维模型融合方法，其特征在于：步骤1.1中，无人机倾斜摄影测量多视影像不少于5个视角，分别为前视、后视、左视、右视和下视，形成360度覆盖；无人机倾斜摄影测量的影像分辨率不低于5cm。3.根据权利要求1所述的一种监控实时视频与场景三维模型融合方法，其特征在于：步骤2包括以下子步骤，步骤2.1，获取一个监控视频摄像机任意一帧图像；步骤2.2，从摄像机帧图像上选取与场景实景三维对应的N个点对(xi,yi,Xi,Yi,Zi)，,其中i为点号，(xi,yi)为摄像机帧图像坐标，(Xi,Yi,Zi)为实景三维场景中对应的点坐标步骤2.3，按照式(1)根据最小二乘法或奇异值分解计算摄像机位姿；式中，为摄像机位姿构成的旋转矩阵；2CN111415416A权利要求书2/2页步骤2.4，重复步骤2.1～2.3，计算出所有摄像机对应的位姿。4.根据权利要求1所述的一种监控实时视频与场景三维模型融合方法，其特征在于：步骤4包括以下子步骤，步骤4.1，搭建多路摄像机实时监控网络存储和控制服务器；步骤4.2，在服务器端，建立监控摄像机视频流数据解码服务；步骤4.3，根据客户端请求，根据实时视频流所采用的传输协议，选择合适的编解码方式，将摄像机实时动态视频流按帧请求传输到可视化客户端。5.根据权利要求1所述的一种监控实时视频与场景三维模型融合方法，其特征在于：步骤5.3中，刷新频率不低于30frame/s