适用于蜂窝网络的VR全景视频优化传输方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113411557A(43)申请公布日2021.09.17(21)申请号202110507947.1H04N19/423(2014.01)(22)申请日2021.05.11H04L29/06(2006.01)(71)申请人复旦大学地址200433上海市杨浦区邯郸路220号(72)发明人蒋林华陈恩涛张冠华曾新华庞成鑫宋梁(74)专利代理机构上海正旦专利代理有限公司31200代理人陆飞陆尤(51)Int.Cl.H04N13/106(2018.01)H04N13/117(2018.01)H04N13/363(2018.01)H04N19/149(2014.01)H04N19/176(2014.01)权利要求书1页说明书3页附图2页(54)发明名称适用于蜂窝网络的VR全景视频优化传输方法(57)摘要本发明属于计算机网络应用层协议技术领域，具体为一种适用于蜂窝网络的VR全景视频优化传输方法。本发明方法包括：VR全景视频的投影、压缩、切片与分块；使用显著性检测对视频进行多焦点的冗余存储，其中采用3D卷积神经网络对样本视频进行有监督学习，得到预测模型用于预测显著区域，随后进行多焦点的冗余存储；视窗自适应传输协议，该协议是基于UDP的应用层协议，并保证视频流即时传输时有缓冲空间；基于头部运动方向预测的预传输，使用机器学习方法，建立方向预测模型，利用预测模型，预测出客户端下一段时间需要的视频片段，通过预传输的方式有效提高客户端视频流畅度。本发明模型简单，可以显著提升传输效率，保证实时性。CN113411557ACN113411557A权利要求书1/1页1.一种适用于蜂窝网络的VR全景视频优化传输方法，其特征至于，具体步骤为：（1）VR全景视频的投影、压缩、切片与分块首先将VR全景视频投影映射到平面视频，然后使用平面视频的压缩算法进行压缩与解压；这里，所述投影采用等距柱状投影技术，其在投影映射过程中球的经纬线距离不变，采样密度从赤道向两极逐渐增大，直到极点处达到无穷大；所述压缩算法采用平面视频压缩算法；对视频进行切片，用于应对用户头部转动时视窗的切换，经过大量实验统计，用户头部保持不动的平均时长在2秒左右，因此这里选择2秒作为切片长度；对单帧全景图像进行分块，为之后的显著性检测标定焦点区域提供便捷，分块操作：以左上角为坐标原点，每个区块以一个(x,y)坐标标定；选择边长为64像素的方块时，对于4K（4096×2160）分辨率的屏幕，传输的区块数量为64*34或65*35；（2）使用显著性检测对视频进行多焦点的冗余存储对视频进行显著性检测标定在全景视频中最有可能被凝视的区域；这里采用深度学习中的3D卷积神经网络技术对样本视频进行有监督学习，得到一个预测效果良好的模型用于预测显著区域，并且随着数据量的增大和用户反馈的坐标信息进一步优化模型，以达到更高的准确率；3D卷积神经网络的输入视频采样频率为2帧/秒，每次输入4张图片进行预测；显著性区域标定完成后，进行进一步加工，以保证标定区域在时间上的连贯性；随后进行多焦点的冗余存储，具体操作是：将每个全景视频片段复制三个版本，分别对应三个位置的视角，每个版本的画面尺寸与原视频一致，但是不同的区块的分辨率不同，可视范围内的所有区块以高质量画质压缩存储，非可视范围内的区块，只将做了显著性标定的区域压缩为高画质，其他区域压缩为低画质；（3）视窗自适应传输协议视窗自适应传输协议具体如下：该协议是基于UDP的应用层协议，特点是无连接、不可靠传输；客户端根据VR头盔当前旋转角度计算视窗在坐标轴上的坐标，向服务器端发送帧计数和坐标，服务器端则保持监听状态，收到来自客户端的请求后，根据这个坐标信息计算当前视窗所在全景图的区域，返回对应版本的全景图；客户端将收到的视频帧暂存在缓冲区；由于网络延时等原因，视频帧可能存在接收顺序打乱的问题，对此问题客户端有两种处理方式：对于还未过时的视频帧插入缓冲区，对于已经过时的视频帧则直接舍弃；视窗自适应传输协议保证视频流即时传输时有一定缓冲空间，避免由于视频帧丢失造成卡顿；缓冲区的大小与预设定的VR视频最大延迟有关；（4）基于头部运动方向预测的预传输使用机器学习的方法，建立一个方向预测模型，以用户过去一段时间头部的运动轨迹为样本预测将来的方向；这里，所述方向预测模型采用加权线性模型，利用这个预测模型，服务端预测出客户端下一段时间需要的视频片段，通过预传输的方式有效提高客户端视频流畅度。2CN113411557A说明书1/3页适用于蜂窝网络的VR全景视频优化传输方法技术领域[0001]本发明属于计算机网络应用层协议技术领域，具体涉及一种在蜂窝网络下高效传输VR全景视频的传输方法。背景技术[0002]从近年全球VR（虚