基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112995636A(43)申请公布日2021.06.18(21)申请号202110256652.1H04N19/423(2014.01)(22)申请日2021.03.09H04N19/50(2014.01)H04L29/06(2006.01)(71)申请人浙江大学H04L29/08(2006.01)地址310013浙江省杭州市西湖区余杭塘路866号(72)发明人翁其艳程琦单杭冠虞露张朝阳(74)专利代理机构杭州天勤知识产权代理有限公司33224代理人王琛(51)Int.Cl.H04N13/122(2018.01)H04N13/194(2018.01)H04N13/363(2018.01)H04N19/146(2014.01)权利要求书3页说明书12页附图2页(54)发明名称基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法(57)摘要本发明公开了一种基于边缘计算和主动缓存的360度虚拟现实视频传输系统，其联合考虑了视频编码、主动缓存、计算卸载和数据传输和视野预测。本发明系统包括云服务器、MEC服务器、客户端、云服务器到MEC服务器的多跳有线网络、MEC服务器到客户端的单跳无线网络、云服务器到客户端的多跳有线和单跳无线网络。为了解决虚拟现实视频业务中严格的从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延问题，本发明利用虚拟现实用户的视野预测来缓存视频数据，并将部分解码渲染任务卸载到MEC服务器上；此外，本发明还公开了系统的参数优化方法，以最大限度地提高用户的体验质量。CN112995636ACN112995636A权利要求书1/3页1.一种基于边缘计算和主动缓存的360度虚拟现实视频传输系统，包括：云服务器、MEC服务器以及客户端；其特征在于：所述云服务器存储有360度虚拟现实视频并通过神经网络生成对应的显著图，在对视频进行编码时采用等距柱状投影的方式将其划分为N×M个tile，并将每个tile多个视频帧的数据压缩为一组图片序列，N和M均为自定义的自然数；同时根据MEC服务器反馈的视野预测结果向MEC服务器传输相应的视频数据包或直接将视频数据包发送给客户端；所述MEC服务器对云服务器下发的视频数据包进行缓存并发送给客户端，同时也会对缓存中的部分视频数据包进行解码渲染并将视频数据发送给客户端，此外MEC服务器会根据来自云服务器的显著图以及客户端提供的运动传感数据预测用户的视野概率分布即视野预测结果；所述客户端用于收集用户的运动传感数据并上传给MEC服务器，同时对MEC服务器或云服务器提供的视频数据包进行解码以及渲染，完成2维视频向360度球面视频的转换并进行播放；系统采用周期性的工作方式，每个周期由缓存阶段和计算与传输阶段组成，视频数据在时域上进行划分，分为多个视频块，每个视频块的时长为D1，并且规定在第l个工作周期内用户所观看的视频块索引为l‑1，l为大于1的自然数；在缓存阶段，云服务器根据MEC服务器反馈的视野预测结果向MEC服务器传输相应的视频数据包，缓存阶段时长为Dc且满足Dc≤D1；在计算与传输阶段开始时刻，客户端向MEC服务器发出包含有运动传感数据的视野请求，MEC服务器根据网络及本地计算资源状况对相应的部分视频数据包进行解码和渲染处理后将视频数据传输给客户端，客户端接收到来自MEC服务器或云服务器的数据后，将其中未解码渲染的视频数据包进行解码渲染处理并进行播放。2.根据权利要求1所述的360度虚拟现实视频传输系统，其特征在于：对于缓存阶段，在第l个工作周期开始时，MEC服务器根据第l个视频块的显著图以及第l‑1个工作周期内用户的运动传感数据预测用户在第l+1个工作周期开始时的视野概率分布其中表示在第l+1个工作周期开始时用户视点落入坐标为的tile中的概率，N＝{1,2,…,N}，M＝{1,2,…,M}；MEC服务器在缓存阶段根据各tile预测的请求概率矩阵PR(n,m)＝[PR(n,m)]N×M中对应元素按从大到小的顺序缓存第l个视频块的数据，其中PR(n,m)表示在第l+1个工作周期开始时坐标为(n,m)的tile至少有一部分落在用户视野区域内的概率，n∈N，m∈M。3.根据权利要求1所述的360度虚拟现实视频传输系统，其特征在于：缓存阶段结束后即为计算与传输阶段，在这个阶段的开始时刻，客户端会给MEC服务器发送用户的视野请求，该视野请求中包含有位于用户视野中心的tile的横纵坐标；所述计算与传输阶段包括了MEC服务器计算阶段、从MEC服务器到客户端传输阶段、从云服务器到客户端传输阶段、客户端计算阶段，为了利用MEC服务器的计算能力来减小客户端计算阶段的时延，可由MEC服务器完成部分视频数据包的解码渲染