基于混合现实的驾驶舱系统及场景构建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112150885A(43)申请公布日2020.12.29(21)申请号201910568355.3(22)申请日2019.06.27(71)申请人统域机器人（深圳）有限公司地址518000广东省深圳市罗湖区笋岗街道宝岗路23号笋岗大厦1122室(72)发明人赖奕璋(74)专利代理机构北京知呱呱知识产权代理有限公司11577代理人彭伶俐苏利(51)Int.Cl.G09B9/048(2006.01)G09B9/05(2006.01)G09B9/04(2006.01)权利要求书2页说明书8页附图4页(54)发明名称基于混合现实的驾驶舱系统及场景构建方法(57)摘要基于混合现实的驾驶舱系统及场景构建方法，获取实体场景，将实体场景转换为三维图形接口的纹理格式，将纹理作为材质贴图显示在摄像头画面幕布的三维模型表面上；显示实体交通工具的运行状态，通过虚拟驾驶舱物体显示实体交通工具的运行信息；通过双目场景摄影机提供用户双目界面和驾驶舱场景音频信息，通过三维图形接口对驾驶舱场景中的虚拟三维景物进行渲染，采用姿态传感器使双目场景摄像机的姿态与用户头部同步运动；获取用户对虚拟驾驶舱物体的控制指令，通过执行器根据控制指令控制实体交通工具的动作。既能在虚拟的驾驶舱里看到交通工具所处的外部真实环境，也能在真实环境的画面上叠加三维虚拟景物，还能跟三维的虚拟驾驶舱物体互动。CN112150885ACN112150885A权利要求书1/2页1.基于混合现实的驾驶舱系统，其特征在于，包括场景获取单元(1)、佩戴单元(2)和三维场景单元(3)；所述场景获取单元(1)包括实体交通工具(4)，所述实体交通工具(4)上连接有摄像组件(5)、传感器组件(6)和执行器(7)，实体交通工具(4)承载所述摄像组件(5)进行实体场景获取，所述传感器组件(6)用于获取所述实体交通工具(4)的运行状态信息，所述执行器(7)用于接收对实体交通工具(4)的控制信号；所述佩戴单元(2)用于向用户传递所述三维场景单元(3)的三维场景界面和音频信息，佩戴单元(2)配置有显示屏(8)、扬声器(9)和姿态传感器(10)，佩戴单元(2)通过所述显示屏(8)显示所述三维场景单元(3)的三维场景界面，佩戴单元(2)通过所述扬声器(9)播放所述三维场景单元(3)的音频信息；所述三维场景单元(3)包括虚拟驾驶舱物体、双目场景摄影机(11)、摄像头画面幕布(12)、HUD显示器(13)和虚拟三维景物(14)，所述虚拟驾驶舱物体用于通过虚拟物体呈现虚拟驾驶舱的内饰，所述双目场景摄影机(11)根据用户的瞳距放置，双目场景摄影机(11)向所述佩戴单元(2)的显示屏(8)提供用户双目界面，双目场景摄影机(11)向所述佩戴单元(2)的扬声器(9)提供三维场景单元(3)的音频信息，所述摄像头画面幕布(12)用于显示所述实体交通工具(4)上的摄像组件(5)拍摄的实时画面，所述HUD显示器(13)用于显示所述实体交通工具(4)的运行状态、任务目标和图形信息，所述虚拟三维景物(14)用于叠加所述摄像组件(5)拍摄的实时画面。2.根据权利要求1所述的基于混合现实的驾驶舱系统，其特征在于，所述摄像组件(5)采用单一摄像头或多摄像头阵列，所述多摄像头阵列包括朝向所述实体交通工具(4)周围方向的若干枚摄像头；所述摄像头画面幕布(12)为半球、球面、平面、曲面或盒状。3.根据权利要求1所述的基于混合现实的驾驶舱系统，其特征在于，所述传感器组件(6)包括车速传感器、转速传感器、油量或电量传感器、加速度传感器、方向传感器和定位传感器，所述运行状态信息包括车速、转速、油量或电量、加速度、方向和地理位置信息，所述车速传感器用于获取所述实体交通工具(4)的车速信息，所述转速传感器用于获取所述实体交通工具(4)的转速信息，所述油量或电量传感器用于获取所述实体交通工具(4)的油量或电量信息；所述加速度传感器用于获取所述实体交通工具(4)的加速度信息，所述方向传感器用于获取所述实体交通工具(4)的朝向信息，所述定位传感器用于获取所述实体交通工具(4)的地理位置信息；所述HUD显示器(13)显示的所述实体交通工具(4)的运行状态包括所述车速信息、转速信息、油量或电量信息、加速度信息、方向信息和地理位置信息。4.根据权利要求1所述的基于混合现实的驾驶舱系统，其特征在于，所述姿态传感器(10)采用加速度传感器、陀螺仪和激光定位设备，所述佩戴单元(2)通过无线或有线方式连接有外部输入设备(19)，所述外部输入设备(19)包括控制手柄和方向盘。5.根据权利要求1所述的基于混合现实的驾驶舱系统，其特征在于，所述虚拟驾驶舱物体包括虚拟驾驶舱壳体(15)、虚拟座椅(16)、虚拟方向盘(17