一种基于业务类别的多链路传输智能报文调度方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113746757A(43)申请公布日2021.12.03(21)申请号202110991338.8(22)申请日2021.08.26(71)申请人中国电子科技集团公司第七研究所地址510310广东省广州市海珠区新港中路381号29分箱(72)发明人章广梅罗洋马井泉崔海逢(74)专利代理机构广州粤高专利商标代理有限公司44102代理人刘俊(51)Int.Cl.H04L12/851(2013.01)H04L12/863(2013.01)G06N3/04(2006.01)G06N3/06(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于业务类别的多链路传输智能报文调度方法(57)摘要本发明公开了一种基于业务类别的多链路传输智能报文调度方法，包括以下步骤：对发送方的网络流进行业务的传输性能需求类别判断；根据业务的传输性能需求的类别，确定优化目标；根据优化目标，从神经网络模型集合中选择策略神经网络模型；将MPTCP的数据包调度过程划分为数个调度周期，在每个调度周期，记录MPTCP调度器的数据包分配状态，同时记录数据包分配状态下的数据传输状态；将数据传输状态和数据包分配状态作为MPTCP调度器的环境状态，输入策略神经网络模型，基于策略梯度的强化学习方法实现多链路传输报文调度。CN113746757ACN113746757A权利要求书1/2页1.一种基于业务类别的多链路传输智能报文调度方法，其特征在于：所述的方法包括以下步骤：S1：对发送方的网络流进行业务的传输性能需求类别判断；S2：根据业务传输性能需求的类别，确定优化目标；S3：根据优化目标，从神经网络模型集合中选择策略神经网络模型；S4：将MPTCP的数据包调度过程划分为数个调度周期，在每个调度周期，记录MPTCP调度器的数据包分配状态，同时记录数据包分配状态下的数据传输状态；S5：将数据传输状态和数据包分配状态作为MPTCP调度器的环境状态，输入策略神经网络模型，基于策略梯度的强化学习方法实现多链路传输报文调度。2.根据权利要求1所述的基于业务类别的多链路传输智能报文调度方法，其特征在于：所述业务的传输性能需求的类别包括吞吐量、往返时延、时延抖动、高丢包率、中丢包率、低丢包率中的一种或多种；所述的优化目标包括单位时间内的吞吐量最大、单位时间内的往返时延最低、单位时间内的抖动次数最低、单位时间内的丢包率最低；所述的数据传输状态包括：MPTCP子流在一个调度周期内的吞吐量、MPTCP子流的拥塞窗口大小。3.根据权利要求1所述的基于业务类别的多链路传输智能报文调度方法，其特征在于：所述的策略神经网络模型为由多个全连接层构成的深度神经网络，根据不同的优化目标，选择不同的损失函数进行优化。4.根据权利要求3所述的基于业务类别的多链路传输智能报文调度方法，其特征在于：步骤S5中，所述基于策略梯度的强化学习方法，包括以下步骤：S501：将数据包分配状态输入策略神经网络模型，根据策略神经网络模型输出的调度动作得到下一调度周期调度器的分配比例，根据分配比例获得下一个调度周期的MPTCP调度器的数据包分配状态；S502：根据两个调度周期不同数据包分配状态下的数据传输状态和优化目标，计算策略深度神经网络模型输出动作的奖励值；S503：将每个调度周期的MPTCP调度器的数据包分配状态、对应该状态的策略神经网络模型的输出动作、以及用于评价该输出动作好坏的奖励值组合为一个训练样本，存放在网络训练经验池中；S504：策略神经网络模型从网络训练经验池中抽样训练样本进行网络参数更新，训练时根据每个调度周期对应的策略神经网络模型的输出动作，制作相应的样本标签，然后根据奖励值定义损失函数，并根据损失函数进行策略神经网络模型的参数更新，从而更新策略神经网络模型的数据包调度策略；S505：将更新后的策略神经网络模型用于多链路传输报文调度，同时将更新后的策略神经网络模型加入神经网络模型集合，等待下一个调度周期进行调度时使用。5.根据权利要求4所述的基于业务类别的多链路传输智能报文调度方法，其特征在于：步骤S501中，所述的MPTCP调度器的数据包分配状态为调度器每一轮次分配到各个MPTCP子流的数据包个数，具体表示为[x1,x2,...,xi...xN]，并设定限制条件为：2CN113746757A权利要求书2/2页其中，xi表示每一轮数据包分配向第i条链路的数据包数，i＝1、2、3、4、...、N；N为多链路传输的链路数量。6.根据权利要求5所述的基于业务类别的多链路传输智能报文调度方法，其特征在于：步骤S501，所述的策略神经网络模型输出的调度动作为改变调度器分配状态的分配操作，写成动作