一种基于沉浸式视频终端搭建的XR虚拟拍摄系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115118880A(43)申请公布日2022.09.27(21)申请号202210726604.9G06T19/00(2011.01)(22)申请日2022.06.24G06T15/20(2011.01)G06T5/50(2006.01)(71)申请人中广建融合（北京）科技有限公司地址100045北京市西城区南礼士路13号1号楼一层112房间(72)发明人欧阳玥张恒金辉周耀平(74)专利代理机构北京力量专利代理事务所(特殊普通合伙)11504专利代理师郭大为(51)Int.Cl.H04N5/232(2006.01)H04N5/225(2006.01)H04N5/265(2006.01)H04N19/42(2014.01)H04N21/44(2011.01)权利要求书2页说明书6页附图1页(54)发明名称一种基于沉浸式视频终端搭建的XR虚拟拍摄系统(57)摘要本发明提供一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，属于虚拟拍摄系统技术领域，该系统包括：虚拟数字资产、摄像机追踪、播控、渲染和合成系统等。本发明构建了实时合成渲染的拍摄流程，基于实景三维空间和实时影像在三维GIS系统的融合数据，通过摄像机追踪系统实时发送位置姿态等信息给渲染服务器，渲染服务器将虚拟画面进行渲染输出显示和合成服务器，显示服务器将画面发送给LED屏，合成服务器将摄像机的画面和渲染画面实时进行合成输出给监视器进行调色、存储和监看，同步信号发生器给各系统授时。解决了传统绿幕拍摄系统后期处理困难、无实物表演、无法精准把控拍摄效果和数字资产数据获取难度大，整体性、准确性和实时性好的难题。CN115118880ACN115118880A权利要求书1/2页1.一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，该系统包括：虚拟数字资产系统，其基于实景三维空间数据模型和实时影像在三维GIS系统融合而成虚实结合的系统；追踪系统，所述追踪系统用于获取摄像机的位置姿态6DOF信息和摄像机焦距信息；hecoos服务器，所述播控服务器用于接收所述追踪系统获取的摄像机信息，并将信息转发给渲染服务器进行渲染处理；合成服务器实时接收摄像机的画面和渲染服务器的画面，进行合成渲染，并输出给监视器，监视器进行校色后存储，并同时将信号传至监看大屏。渲染服务器，渲染服务器接收到播控服务器的位置姿态数据后，将实时渲染该姿态下的背景、前景、扩展虚拟画面输出显示和合成服务器，显示服务器将画面发送给LED屏。同步发生器，同步发生器将同步时钟信号分别下发虚拟数字资产系统、追踪系统、播控服务器、渲染服务器、合成服务器和摄像机。2.根据权利要求1所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述渲染服务器为UE4、Notch或unity引擎中的一种，其底层数据使用的是基于实景三维模型或实时影像采集融合的模型资产。3.根据权利要求2所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述青瞳追踪系统获取位置及姿态信息。4.根据权利要求3所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述hecoos服务器内设置有hecoos合成模块和hecoos显示模块。5.根据权利要求4所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述hecoos合成模块通过视频编码器采集摄像机拍摄的现场画面。6.根据权利要求5所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述渲染服务器通过网络或串口将画面信息发送给hecoos服务器。7.根据权利要求6所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述渲染服务器渲染出的画面包括背景画面和前景画面。8.一种基于沉浸式视频终端搭建的XR虚拟拍摄系统的工作方法，应用于权利要求1‑7任意一项所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统中，其特征在于，包括如下步骤：S1、首先在现场摄像机上安装标记物，然后通过青瞳追踪中的摄像机拍摄标记物，获取摄像机的位置信息，通过网络协议发送给hecoos合成模块；S2、hecoos合成模块通过视频编码器，采集摄像机拍摄的现场画面；S3、hecoos合成模块对位置信息作出校准处理，然后将处理后的信息发送给渲染服务器；S4、渲染服务器获取位置信息后，使用UE4渲染引擎，实时渲染出虚拟背景、前景画面、LED屏幕外的拓展画面，通过网络发送给hecoos合成模块和hecoos显示模块；S5、此时hecoos显示模块接收背景画面，将背景画面输出给LED视频处理器，让LED屏幕显示出实时背景；S6、hecoos合成模块将拍摄到的画面，与渲染出的虚拟画面合成，在hecoos服务器中，对画面的延迟进行调整，