一种基于5G网络的沉浸式可视化校园系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110971678A(43)申请公布日2020.04.07(21)申请号201911148850.5(22)申请日2019.11.21(71)申请人深圳职业技术学院地址518000广东省深圳市南山区西丽湖镇西丽湖畔(72)发明人蔡铁峰陈锐浩王瑛冀健(74)专利代理机构深圳市科吉华烽知识产权事务所(普通合伙)44248代理人胡吉科(51)Int.Cl.H04L29/08(2006.01)G06T19/00(2011.01)G06T15/00(2011.01)G06T7/30(2017.01)G06Q50/20(2012.01)权利要求书5页说明书15页附图7页(54)发明名称一种基于5G网络的沉浸式可视化校园系统(57)摘要本发明提供了一种基于5G网络的沉浸式可视化校园系统，包括5G课堂教学系统和5G实训学习系统，所述5G课堂教学系统包括课室三屏全空间系统、师生控制三端系统、学生多端体验系统、以及利用5G通讯实现云存储、云渲染和云定位等视觉计算功能的校园云端；所述5G实训学习系统包括体验终端和校园云端，所述校园云端包括云存储中心模块、云视觉计算模块、云虚拟物体状态计算模块、云渲染模块。本发明的有益效果是：本发明集成了VR、AR、MR，在真实校园上以虚实结合的方式构建人眼可见可沉浸的知识王国，为在校师生提供了全新的立体沉浸式工作、学习、生活空间。CN110971678ACN110971678A权利要求书1/5页1.一种基于5G网络的沉浸式可视化校园系统，其特征在于，包括5G课堂教学系统和5G实训学习系统，所述5G课堂教学系统包括课室三屏全空间系统、师生控制三端系统、学生多端体验系统、以及利用5G通讯实现云存储、云渲染和云定位视觉计算功能的校园云端；所述5G实训学习系统包括体验终端和校园云端，所述校园云端包括云存储中心模块、云视觉计算模块、云虚拟物体状态计算模块、云渲染模块。2.根据权利要求1所述的沉浸式可视化校园系统，其特征在于：在所述5G实训学习系统中，所述体验终端与所述校园云端利用5G网络进行通信，所述体验终端进行信号采集、互动输入以及显示，数据的存储、包括定位在内的视觉计算、虚拟物体状态计算以及渲染由所述校园云端处理，所述云存储中心模块存储虚拟物体模型、XR校园场景以及真实校园场景表征数据，云视觉计算模块根据体验终端采集的摄像头、惯性传感器、卫星定位系统的信号，与云存储中心模块的校园场景表征进行配准，对体验终端进行实时定位，并进一步获取对校园场景当前状态的认知，还能够在一定规则下对校园场景表征进行修正；云虚拟物体状态计算模块根据互动输入、云视觉计算模块生成的定位信息以及场景认知信息，在一定的XR校园运行规则下实时计算XR校园内各虚拟物体的状态；对于每个体验终端，云渲染模块将从云虚拟物体状态计算模块获取需要渲染的虚拟物体列表和列表内各虚拟物体的状态，并需要提前从云存储中心模块读取相应的虚拟物体模型，然后，云渲染模块根据各体验终端在XR校园内的位姿渲染图像。3.根据权利要求1所述的沉浸式可视化校园系统，其特征在于：在所述5G实训学习系统中，体验终端与校园云端一起承担存储、视觉计算与渲染的功能，体验终端用于信号采集、互动输入以及显示，同时与校园云端一起承担存储、视觉定位与渲染的功能，体验终端不把采集的每帧图像传输到校园云端，只把具有重要定位信息的关键帧图像传输到校园云端，云存储中心模块存储虚拟物体模型、XR校园场景以及真实校园场景表征，云视觉计算模块根据体验终端摄像头采集的关键帧图像、惯性传感器、卫星定位系统的信号，与云存储中心模块的校园场景表征进行配准，计算关键帧对应的体验终端位姿，并可以进一步获取对校园场景当前状态的认知，还可以在一定规则下对校园场景表征进行修正；体验终端对每帧图像进行定位计算，根据云视觉计算模块对关键帧的定位信息校准得到体验终端在校园内的准确位姿；云状态计算模块根据互动输入、云视觉计算模块生成的场景认知信息以及体验终端发送过来的视觉定位信息，实时计算XR校园内各虚拟物体的状态；云状态计算模块分配渲染任务，根据体验终端定位信息，以及虚拟物体的远近、虚拟物体是否静止因素综合决定校园云端和体验终端分别需要渲染的虚拟物体列表，并分别把这些虚拟物体的状态向量发送给云渲染模块和体验终端；云渲染模块不需要和体验终端在相同频率下渲染图像，可以在较低频率下渲染图像，但渲染的单幅图像的视场要足够大，以满足能覆盖一个时间段内体验终端视场的需求；云渲染模块根据从云状态计算模块发送过来的虚拟物体列表、各虚拟物体状态、终端的定位信息，从云存储中心模块提取相应的虚拟物体模型，渲染出大视场角图像或者全景图像，并给出深度图像；体验终端根据定位信息，以及云状态计算模块