一种基于全息终端的5G强互动远程专递教学系统及其工作方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112562433A(43)申请公布日2021.03.26(21)申请号202011604676.3(22)申请日2020.12.30(71)申请人华中师范大学地址430079湖北省武汉市武昌区珞瑜路152号(72)发明人杨宗凯钟正吴砥吴珂(74)专利代理机构武汉天力专利事务所42208代理人吴晓颖(51)Int.Cl.G09B5/14(2006.01)G06Q50/20(2012.01)H04L29/08(2006.01)权利要求书5页说明书9页附图7页(54)发明名称一种基于全息终端的5G强互动远程专递教学系统及其工作方法(57)摘要本发明属于信息技术的教学应用领域，提供一种基于全息终端的5G强互动远程专递教学系统及其工作方法，该远程专递教学系统包括数据采集模块、数据传输模块、5G云渲染模块、自然交互模块、全息显示模块和教学服务模块；本发明方法借助录播采集设备以及传感器，实时采集主讲教室中主讲教师的多样化教学行为和全息影像；经5G网络链路，实现教室端与云服务器、渲染集群之间的数据传输；音视频流、全息影像等数据经云化解码、情景匹配、GPU实时渲染和云化编码等环节，将渲染完成的全息影像推送到教室端的全息显示终端。本发明有助于满足远程专递教学的需要，为专递课堂提供一种新的全息呈现方式、互动形态。CN112562433ACN112562433A权利要求书1/5页1.一种基于全息终端的5G强互动远程专递教学系统，其特征在于：该系统包括数据采集模块、数据传输模块、5G云渲染模块、自然交互模块、全息显示模块和教学服务模块；所述数据采集模块用于采集主讲教室与听课教室中师讲生听、师生互动环节的各种教学行为数据；所述数据传输模块用于实现主讲教室与5G云渲染引擎、听课教室全息终端之间的音视频流、全息影像数据传输；所述5G云渲染模块用于实现教室端教学视频流和全息影像的高速渲染，所述教室端是指主讲教室与听课教室；所述自然交互模块通过感知主讲教师的各种交互行为，实现教学过程中教师与全息教学资源、教学环境之间互动；所述全息显示模块为全息教学资源和自然交互提供展示平台；所述教学服务模块为各类用户提供教学资源、教学行为与过程分析、教学服务管理。2.根据权利要求1所述的基于全息终端的5G强互动远程专递教学系统，其特征在于：所述全息显示模块在主讲教室与听课教室配备不同的全息显示终端，构建虚实融合的全息成像环境；具体为，在主讲教室为主讲教师配备具有增强现实功能的全息头显，通过5G网络将云渲染的全息画面传送到远程听课教室；在听课教室采用全息投影仪、全息LED屏、全息薄膜配置形式，通过全息渲染方式立体再现主讲教室中的教学活动。3.一种如权利要求1所述的基于全息终端的5G强互动远程专递教学系统的工作方法，其特征在于该方法包括以下步骤：(1)数据采集，针对主讲教室中师讲生听、师生互动教学活动中主讲教师的多样化教学行为，借助录播采集设备以及动作、表情、头部、视线传感器，实时采集主讲教室中教师的视频、语音、手势和躯干动作、面部表情、头部转动、视线聚焦数据，以及全息互动影像；(1‑1)语音、视频数据采集，通过多流录制模式，将录播系统摄录的主讲教室视频、音频信号整合同步录制形式：采用G.728音频协议将语音数据存储为PCM格式；采用HEVA视频协议，将HDMI视频源编码压缩成4K分辨率的标准化流媒体内容，在教学服务模块生成MP4格式的点播列表；(1‑2)姿态数据采集，运用深度传感设备采集主讲教师的深度图像，获取其骨架数据；使用基于惯性的动作捕捉设备追踪教师的25个关键骨骼部位，采用通用动作BVH格式记录主讲教师的动作，上传到云渲染引擎，辅助后续数据感知与全息环境的交互；(1‑3)头部与视线数据追踪，在主讲教室运用摄像机和桌面遥测式眼动仪构建注视目标跟踪系统，采用头部姿态估计技术，实时获取主讲教师头部的空间姿态，将其与眼动检测的坐标系进行合成和转换，设置眨眼补偿时间参数和追踪丢失补偿时间戳，记录凝视点的保持时长，量化感兴趣区域的视觉注意力，采用evs格式描述上述关键参数；(1‑4)表情数据采集，采用回归树的人脸对齐算法，建立级联残差回归树，检测视频序列中主讲教师人脸关键点数据，提取眼睛、眉毛和嘴部特征点的3D坐标，采用UTF8MB4格式的字符串描述面部表情捕捉信息；(1‑5)全息影像采集，采用广角采集技术，多角度、多机位扫描主讲教室，实时融合主讲教师的授课视频图像；根据教室光源的方向和强度，及时调整教师的站位，保持双眼视差的均衡值，动态采集、跟踪主讲教师的授课过程；2CN112562433A权利要求书2/5页(2)数据传输，将教室端采集到的数据与云渲染内容，经5G/WIFI/定位模块与无线路由器、5G广