VR的图像处理系统及其方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106454322A(43)申请公布日2017.02.22(21)申请号201610976256.5(22)申请日2016.11.07(71)申请人金陵科技学院地址211100江苏省南京市江宁区弘景大道99号(72)发明人周安涛(74)专利代理机构北京轻创知识产权代理有限公司11212代理人谈杰(51)Int.Cl.H04N13/04(2006.01)G06F3/01(2006.01)G02B27/01(2006.01)权利要求书3页说明书7页附图1页(54)发明名称VR的图像处理系统及其方法(57)摘要本发明公开了一种VR的图像处理系统及其方法，包括服务器端和客户端：所述服务器端将现实场景进行渲染，并传输至客户端的显示设备上显示；所述客户端包括头戴式显示设备和移动客户端；所述服务器端包括虚拟现实引擎、处理器以及同处理器相连接的GPU；所述VR的图像处理系统还包括一个或多个传感器，用于即时获取头戴式显示设备的位置信息和朝向信息，进行头部运动和眼睛方向的跟踪；所述传感器为加速度计、陀螺仪、罗盘传感器和地磁传感器，所述传感器的采集频率为400HZ以上；结合其方法避免了现有技术中应用的显示延迟很高、显示渲染机制并不适用于VR、仅有传感器的数据还不足以支撑完整的头部随动功能的缺陷。CN106454322ACN106454322A权利要求书1/3页1.一种VR的图像处理系统，其特征在于，包括服务器端和客户端，其中：所述服务器端将现实场景进行渲染，并传输至客户端的显示设备上显示；所述客户端包括头戴式显示设备和移动客户端；所述服务器端包括虚拟现实引擎、处理器以及同处理器相连接的GPU；所述移动客户端安装在用户手持的智能移动设备上，所述智能移动设备通过无线通信与服务器端进行交互，所述智能移动设备为Andriod手机。所述VR的图像处理系统还包括一个或多个传感器，用于即时获取头戴式显示设备的位置信息和朝向信息，进行头部运动和眼睛方向的跟踪；所述传感器为加速度计、陀螺仪、罗盘传感器和地磁传感器，所述传感器的采集频率为400HZ以上。2.根据权利要求1所述的VR的图像处理系统，其特征在于所述头戴式显示设备包括：显示屏幕，用于将服务器端输出的图像进行显示，以使得用户可以观看；消息接口，用于与服务器端交互信息；处理模块，用于处理传感器所获得的信息，将其转化为相应的位置坐标和旋转四元数信息，并将转化后的结果发送至服务器端。3.根据权利要求1所述的VR的图像处理系统，其特征在于所述移动设备通过交互式操作模拟服务器端的输入指令，控制虚拟场景或人物，服务器端反馈指令给移动设备。4.根据权利要求1所述的VR的图像处理系统的方法，其特征在于，具体如下：从传感器中获取HMD设备的位置信息和朝向信息进行头部跟踪，并通过消息接口将坐标和旋转四元数信息反馈至应用程序；应用程序通过所述虚拟现实引擎的渲染模块、物理碰撞模块、音效模块、核心模块对反馈的信息进行处理，设置坐标矩阵，将处理过的图像通过头戴式显示设备的硬件抽象层传输给所述设备，用户通过双眼看到反馈后更新的画面，还能够通过侦测用户眼睛的活动来完成通过眨眼控制的动作；另外将现实场景进行渲染的方式包括在CPU计算完成后，物体的顶点位置确定，做具体的矩阵变换，交由GPU渲染，在渲染完成后，根据VSYNC信息送显示屏幕显示，并且渲染的机制采用FBR渲染机制，也就是将三缓冲改为唯一的前缓冲，GPU和显示屏幕共享同一块缓冲区域；头部随动采用融合算法进行校正和优化，而利用加速计和地磁来校正陀螺仪的变化。5.根据权利要求4所述的VR的图像处理系统的方法，其特征在于所述GPU渲染完成后，在送显示屏幕之前，根据当前头部位置信息进行ATW变换，将变换后的画面送显示屏幕。6.根据权利要求5所述的VR的图像处理系统的方法，其特征在于所述VR的图像处理系统的方法还构建了头部随动模型，同时兼顾空间定为中的位置平移。7.根据权利要求5所述的VR的图像处理系统的方法，其特征在于所述VR的图像处理系统的方法只需调用一次矩阵变化和渲染接口，在GPU层来处理分屏视图，并支持同时渲染绘制。8.根据权利要求5所述的VR的图像处理系统的方法，其特征在于所述VR的图像处理系统的方法采用各种滤波算法对突变数据进行处理，最终产生平滑稳定的数据；所述处理器包括DSP，利用DSP进行对传感器数据进行处理；所述VR的图像处理系统的方法采用六轴融合算法配合低频地磁传感器组合使用，同时2CN106454322A权利要求书2/3页利用预测算法来预测下一帧的头部位置供渲染部分使用。9.根据权利要求5所述的VR的图像处理系统的方法，其特征在于另外服务器端将现实场景进行渲染，并传输至客户端的显示设备上显示的方式