一种QUIC协议下基于深度强化学习的视频流自适应传输方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115022684A(43)申请公布日2022.09.06(21)申请号202210586839.2H04L65/80(2022.01)(22)申请日2022.05.27H04L67/06(2022.01)G06N3/04(2006.01)(71)申请人西安交通大学G06N3/08(2006.01)地址710049陕西省西安市碑林区咸宁西路28号(72)发明人王志文张源鸿张未展郑庆华杜海鹏吕格丽张志浩曹坚翔袁慕遥焦慕妍(74)专利代理机构西安智大知识产权代理事务所61215专利代理师段俊涛(51)Int.Cl.H04N21/24(2011.01)H04N21/2662(2011.01)H04L65/1069(2022.01)权利要求书4页说明书10页附图3页(54)发明名称一种QUIC协议下基于深度强化学习的视频流自适应传输方法(57)摘要一种QUIC协议下基于深度强化学习的视频流自适应传输方法，结合基于门控循环单元(GRU)和卷积(CNN)的神经网络建立网络轨迹特征的提取模型，利用注意力机制学习不同特征对带宽的影响，预测未来时刻带宽信息；将预测的带宽信息作为码率决策的状态输入，建立QoE奖励模型，采用PPO算法训练强化学习网络，决策最优码率；客户端根据码率自适应决策模块的反馈结果将相应视频下载并播放，实现QUIC下的视频流自适应传输框架。本发明能够保证在QUIC协议下，带宽预测模块能够充分提取网络状态信息，实现长窗口的带宽预测，为码率自适应决策提供有效输入，达到充分利用带宽资源的目的，有效提升用户观看体验质量。CN115022684ACN115022684A权利要求书1/4页1.一种QUIC协议下基于深度强化学习的视频流自适应传输方法，其特征在于，包括如下步骤：步骤1，服务器端和客户端建立QUIC连接；步骤2，在服务器端预测网络带宽；步骤3，将带宽预测结果作为码率自适应决策的状态输入，客户端基于服务器端的码率自适应决策结果，选择码率对应的视频文件下载到缓冲区并解码；并在QUIC协议下，联合优化视频传输与播放，减少播放缓冲时间，提高QoE。2.根据权利要求1所述QUIC协议下基于深度强化学习的视频流自适应传输方法，其特征在于，所述步骤1中，Nginx接收到浏览器发送的http请求，将包进行解析；对于静态文件请求，直接访问客户端Nginx配置的静态文件目录，返回客户端请求静态文件；对于动态接口请求，Nginx将请求转发给uWSGI，最后到达Django进行后续处理。3.根据权利要求1所述QUIC协议下基于深度强化学习的视频流自适应传输方法，其特征在于，所述步骤2，在服务器端构建长窗口带宽预测模型，利用带宽历史数据预测网络带宽，所述长窗口带宽预测模型包括两个GRU以及一个CNN，并添加注意力机制；其预测方法为：步骤2.1，将带宽数据抽象为时间序列，利用第一个GRU和CNN提取带宽数据特征，得到包含带宽数据时域特征和空域特征的时空特征矩阵利用连续的第一个和第二个GRU提取带宽数据特征，得到包含带宽数据时域特征的时域特征矩阵H′t；步骤2.2，将时空特征矩阵作为注意力机制的输入向量，将时域特征矩阵H′t作为注意力机制的查询向量，学习时空特征对于预测值的权重贡献，从而得到t+1时刻的带宽预测结果yt+1。4.根据权利要求3所述QUIC协议下基于深度强化学习的视频流自适应传输方法，其特征在于，所述长窗口带宽预测模型利用历史时间窗口中不同时间步的带宽历史数据预测网络带宽。5.根据权利要求3所述QUIC协议下基于深度强化学习的视频流自适应传输方法，其特征在于，所述步骤2.1，包括：将当前时刻t的历史带宽序列Xt输入到第一个GRU中，得到用于带宽预测的中间向量Ht，表征为Ht＝GRU(Xt,θt)，其中，θt表示GRU内部Gate的参数，包含了权重矩阵及偏置；将Ht作为CNN的输入，进行卷积处理，提取出历史带宽数据的周期性特征，计算式为其中，W表示过滤器的权重参数，b表示过滤器的偏置项，*表示卷积操作，σ表示激活函数；CNN的输出即将表示为行向量形式如下：表示的第i维，对Ht进行卷积操作后，得到的矩阵中包含带宽数据的时域特征和空域特征，称为时空特征矩阵；同时，将Ht作为第二个GRU的输入，得到H′t，将表示为行向量形式如下：H′t＝[H′t1,H′t2,…,H′ti,…]H′ti表示H′t的第i维；2CN115022684A权利要求书2/4页所述步骤2.2包括输入向量和查询向量H′t的打分计算、权重值计算以及根据权重计算输出向量三个部分，其中：采用注意力打分机制中的加性模型计算得到分数集合S＝[s1,s2,…,si,…,st]的各元素，元素其中t是S中的元素个数，Vs、Wls、Wc