多路径拥塞控制方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115037672A(43)申请公布日2022.09.09(21)申请号202210462002.7(22)申请日2022.04.28(71)申请人北京邮电大学地址100876北京市海淀区西土城路10号(72)发明人张娇魏德惠李浩哲刘远捷张轩潘恬黄韬(74)专利代理机构北京金咨知识产权代理有限公司11612专利代理师宋教花(51)Int.Cl.H04L45/24(2022.01)H04L47/193(2022.01)权利要求书2页说明书12页附图3页(54)发明名称多路径拥塞控制方法及装置(57)摘要本申请提供一种多路径拥塞控制方法及装置，方法包括：实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态；若目标网络当前处于非阻塞状态，则使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。本申请能够实现强化学习模型DRL在基于多路径传输控制协议MPTCP的网络拥塞控制中的应用，能够有效提高多路径拥塞控制的及时性及可靠性；并能够有效避免阻塞对目标网络中数据传输性能带来的影响，提高拥塞控制的智能化程度，进而能够有效保证基于多路径传输控制协议的目标网络的运行稳定性，更适用于高速网络。CN115037672ACN115037672A权利要求书1/2页1.一种多路径拥塞控制方法，其特征在于，包括：实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态；若所述目标网络当前处于非阻塞状态，则使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。2.根据权利要求1所述的多路径拥塞控制方法，其特征在于，还包括：若所述目标网络当前未处于非阻塞状态，则将所述目标网络的拥塞控制模式切换至并存模式，以基于该并存模式对所述目标网络的数据传输进行拥塞控制；其中，所述并存模式包括：作为主模式的启发式MPTCP决策方式和作为辅助模式的DRL决策方式，该DRL决策方式包括：使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。3.根据权利要求1或2所述的多路径拥塞控制方法，其特征在于，所述基于所述MPTCP的各个子流各自对应的单子流强化学习模型对所述目标网络的数据传输进行拥塞控制，包括：各个子流分别异步查询自身的动作，并收集除自身外的其他子流的信息；各个子流分别根据除自身外的其他子流的信息及预设的权重数据生成当前的多子流奖励，以使各个所述子流分别基于各自获取的多子流奖励和所述单子流强化学习模型对所述目标网络的数据传输进行符合公平性原则的拥塞控制。4.根据权利要求1所述的多路径拥塞控制方法，其特征在于，所述单子流强化学习模型的输入包括当前的环境信息，所述单子流强化学习模型的输出包括子流对窗口的独立调整参数；所述环境信息包括：根据各个所述子流的状态加权平均数据获取的带宽、滑动窗口、往返时间RTT和该往返时间RTT的平均偏差。5.根据权利要求1所述的多路径拥塞控制方法，其特征在于，还包括：在所述MPTCP的各个子流中择一作为目标子流；应用除所述目标子流之前的其他子流的信息及预设的权重数据生成当前的多子流奖励，以使所述目标子流基于所述多子流奖励训练深度强化学习模型；将所述单子流强化学习模型复制至其他子流以进行迭代训练，直至所述强化学习模型收敛，得到用于在多路径中进行单子流的公平性拥塞控制的单子流强化学习模型。6.根据权利要求2所述的多路径拥塞控制方法，其特征在于，所述实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态，包括：实时监测当前的包速与模型决策延迟阈值之间的数值比较结果，其中，所述包速包括：数据包的到达拥塞管理器的时间间隔；若所述数值比较结果显示所述包速等于或大于所述模型决策延迟阈值，则判定所述目标网络当前处于非阻塞状态；若所述数值比较结果显示所述包速小于所述模型决策延迟阈值，则判定所述目标网络当前未处于所述非阻塞状态。7.根据权利要求6所述的多路径拥塞控制方法，其特征在于，还包括：在所述目标网络的拥塞控制模式切换至所述并存模式后，实时监测到所述包速是否在预设时间段内连续小于所述模型决策延迟阈值；2CN115037672A权利要求书2/2页若是，则将所述目标网络的拥塞控制模式从所述并存模式切换至非阻塞模式，以使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。8.一种多路径拥塞控制装置，其特征在于，包括：非阻塞状态监测模块，用于实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态；DRL拥塞控制模块，用于若所述目标网络当前处