面向边缘蜂窝网络基于强化学习的视频码率自适应方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116016987A(43)申请公布日2023.04.25(21)申请号202211574628.3(22)申请日2022.12.08(71)申请人上海大学地址200444上海市宝山区上大路99号(72)发明人孙彦赞陈文凯于军张舜卿陈小静王涛(74)专利代理机构上海交达专利事务所31201专利代理师王毓理王锡麟(51)Int.Cl.H04N21/2343(2011.01)G06N20/00(2019.01)H04N21/4402(2011.01)H04N19/40(2014.01)权利要求书4页说明书6页附图2页(54)发明名称面向边缘蜂窝网络基于强化学习的视频码率自适应方法(57)摘要一种面向边缘蜂窝网络基于强化学习的视频码率自适应方法，通过构建能够多址边缘计算(MEC)转码的服务端及内置缓存的客户端作为视频流会话仿真环境，采用并行协作联合多视频切片码率转码和传输的ABR方法(PCMC)模型，以视频数据集和无线带宽轨迹数据集在视频流会话仿真环境中进行基于异步强化学习(A3C)的训练，在在线阶段通过该模型对视频码率进行自适应调整。本发明在配置MEC的无线网络场景下，充分利用RAN侧的信息以及MEC计算资源和存储资源的同时，使用传输和转码并行执行的策略，减少MEC带来的额外计算延迟和计算能耗，提高客户端的视频流QoE指标。CN116016987ACN116016987A权利要求书1/4页1.一种面向边缘蜂窝网络基于强化学习的视频码率自适应方法，其特征在于，通过构建能够多址边缘计算(MEC)转码的服务端及内置缓存的客户端作为视频流会话仿真环境，采用并行协作联合多视频切片码率转码和传输的ABR方法(PCMC)模型，以视频数据集和无线带宽轨迹数据集在视频流会话仿真环境中进行基于异步强化学习(A3C)的训练，在在线阶段通过该模型对视频码率进行自适应调整；所述的PCMC模型具备多动作输出的网络结构，包括：环境编码模块、策略生成模块和策略评价模块，其中：环境编码模块根据反映环境(Environment)特征的状态信息生成特征向量，策略生成模块根据特征向量输出由未来k个动作的集合An组成的策略，策略评价模块对当前的策略进行评价估值并反馈至策略生成模块以估值调整其策略模型。2.根据权利要求1所述的面向边缘蜂窝网络基于强化学习的视频码率自适应方法，其特征是，所述的客户端内置缓存，当请求的视频切片到达客户端时缓存增加的长度为该视频切片包含的视频内容长度，缓存的消耗速率等于客户端播放视频速率；所述的缓存的长度满足：其中：Bue(n)为索引为n的切片到达客户端时缓存的长度，t为该视频切片到达客户端的时刻，L为切片包含的视频内容长度；当Bue(n)的长度大于阈值(Bthresh)时，停止请求视频并休眠整数个休眠周期(Ts)直至缓存满足条件；Tts(n,m)为第n块的m级码率切片的传输时间；当用户使用正常播放速率播放视频，则当请求的视频切片到达时，缓存的消耗长度就等于传输时间与转码时间的总和。3.根据权利要求1所述的面向边缘蜂窝网络基于强化学习的视频码率自适应方法，其特征是，所述的转码是指：在服务端设置转码任务队列，采用PCMC模型选择未来k块视频码率后，MEC缓存并依次检查是否命中，即是否存在高码率版本；当命中时通过转码任务队列依次进行视频切片的转码；所述的转码任务队列中每个转码任务的时长与计算设备的cpu核心数量、频率和转码前后的码率之差有关，则转码任务队列的第n个切片的转码任务的时长满足：其中：原始的码率为q(0)，目标码率为q(m)，Cm为在单核情况下处理单个码率差值等级所需要的CPU周期数；当切片在传输或者客户端缓存进行休眠时，任务队列里的转码任务可以并行执行以减小因转码带来的延迟。4.根据权利要求1所述的面向边缘蜂窝网络基于强化学习的视频码率自适应方法，其特征是，所述的MEC缓存是指：服务端利用缓存资源缓存最频繁被访问的视频切片并使用最低频率淘汰算法(LFU)模拟缓存的更新机制，具体为：优先缓存访问频率高的视频切片，同一切片的不同码率只缓存最高的码率版本；当缓存达到上限，优先淘汰频率低的切片，在频率相同的情况下优先淘汰访问时间点最早的片段，当请求视频切片码率版本低于缓存中的版本即为命中，否则未命中；所述的转码任务队列，具体更新方式如下：标记T为转码任务队列可消耗的时长，当第n个切片到达客户端后并且客户端的缓存长度Bmec(n)大于缓存阈值Bthresh时，将任务队列的T2CN116016987A权利要求书2/4页更新为否则将T更新为Tts(n，m)，按照先进先出的原则依次取出转码任务队列的第j个任务，即Bmec(n+j)，将其更新为max(0，Bmec(n+j)‑T)，再将T更新为