一种实时虚拟场景LED拍摄系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112040092A(43)申请公布日2020.12.04(21)申请号202010934566.7(22)申请日2020.09.08(71)申请人杭州时光坐标影视传媒股份有限公司地址310012浙江省杭州市西湖区灵凤街凤凰创意大厦4号楼2单元4楼(72)发明人陈奕朱骥明刘锦鹏杜巧枝(74)专利代理机构杭州求是专利事务所有限公司33200代理人郑海峰(51)Int.Cl.H04N5/222(2006.01)H04N5/262(2006.01)权利要求书3页说明书9页附图4页(54)发明名称一种实时虚拟场景LED拍摄系统及方法(57)摘要本发明公开了一种实时虚拟场景LED拍摄系统及方法，属于影视拍摄领域。本发明根据拍摄场景所需呈现的内容，调取数字资产构建虚拟场景，在虚拟引擎模块中重构出虚拟LED屏幕和虚拟摄像机，采摄影棚内真实环境光照信息实时同步至虚拟引擎内，通过虚拟引擎模块对虚拟场景进行分布式实时渲染并在虚拟LED屏幕呈现；虚拟引擎还在虚拟LED屏幕之外叠加虚拟引擎根据实时摄像机位置和镜头畸变信息实时渲染的带有深度通道的画面，物理LED屏幕显示虚拟LED屏幕，实时摄像机完成拍摄，XR模块获取带有深度通道的画面和实时摄影机拍摄的画面，合成得到最终的画面。本发明可代替绿幕抠像在大部分环境下达到直接成片的效果，优化了制片流程，节省了复杂视觉特效成本。CN112040092ACN112040092A权利要求书1/3页1.一种实时虚拟场景LED拍摄系统，其特征在于包括：物理LED屏幕，其用于接收虚拟引擎模块的输出视频流信号，并进行显示，数字资产库模块，所述的数字资产库模块包括高真实三维素材库和高质量环幕素材库，其中高真实三维素材库内存储有素材的三维模型，所述的高质量环幕素材库内存储有用于作为视频背景素材的环幕视频；实时摄影机，其用于拍摄现实场景的画面；所述的实时摄影机连接有镜头数据传感器，用于获取焦距焦点信息，从而获得镜头畸变信息并传输给虚拟引擎模块；实时摄影机跟踪模块，其捕捉现实摄影机的位置信息和运动数据并通过VRPN协议将捕捉的信息实时传输至虚拟引擎模块中；虚拟引擎模块，其根据物理LED屏幕的形状及特性在虚拟引擎模块中重构出虚拟LED屏幕，通过实时摄影机跟踪模块获取的摄影机位置和运动数据构建虚拟摄像机，并通过控制虚拟摄像机的运动以实时模拟真实摄影机的运动；其通过调取数字资产库模块中的三维模型和环幕视频构建虚拟场景，其获取环境光采集系统模块采集的真实环境光信息并实时同步，通过内部的虚拟灯光单元模拟虚拟场景中模型的灯光照明，通过内部的物理效果模拟单元模拟虚拟场景中模型的物理光学效果和物理特性效果；虚拟引擎模块通过分布式实时渲染，并根据当前虚拟摄像机的位置在虚拟LED屏幕上投射渲染画面；虚拟引擎模块将虚拟LED屏幕上的渲染画面转换成现实LED屏幕可用的视频流信号进行输出；虚拟引擎模块还根据实时摄影机跟踪模块得到的实时摄像机的位置和运动数据以及镜头数据传感器得到的镜头畸变信息，在虚拟LED屏幕之外叠加虚拟引擎实时渲染的带有深度通道的画面，所述带有深度通道的画面输出给XR模块；远程控制系统，其与虚拟引擎模块远程连接，用于远程调控虚拟灯光单元和物理效果模拟单元的模拟效果。外置灯光系统，其用于向拍摄场景提供灯光照明；虚拟灯控台模块，其远距离控制外置灯光系统,并对其颜色及亮度进行实时调整；环境光采集系统模块，其使用装载鱼眼镜头的摄影机，将摄影机放置在被摄物同环境光下，实时生成HDRI环境贴图供给虚拟引擎进行渲染，其将真实环境光信息实时同步至虚拟引擎内颜色匹配模块；其自动抓取实时摄影机对LED屏幕的画面采样，通过对比标准色卡，对实时摄影机看到的LED画面，和物理LED屏幕上的画面进行比对，实时校准LED屏幕颜色。XR模块，其获取虚拟引擎实时渲染的带有深度通道的画面和现实摄影机拍摄的画面，并对画面进行合成处理，得到最终的画面。2.根据权利要求1所述的实时虚拟场景LED拍摄系统，其特征在于，所述物理LED屏幕由点距低于P4及屏幕刷新率匹配摄影机感光元件刷新率、且屏幕亮度达到800-1000MCD的LED屏幕模组构成。3.根据权利要求1或2所述的实时虚拟场景LED拍摄系统，其特征在于，所述的物理LED屏幕包括环形立墙LED屏和平面顶盖LED屏；平面顶盖LED屏设置在环形立墙LED屏的顶部，两者构成全景拍摄空间。4.根据权利要求1所述的实时虚拟场景LED拍摄系统，其特征在于，所述高真实三维素材库内存储的三维模型包括地形模型、场景模型、道具模型、人物模型和动物模型；所述的2CN112040092A权利要求书2/3页高质量环幕素材库内存储的环幕视频包括自然风光、城市风光、车拍背景视频素