一种基于深度强化学习的最优路径规划的方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115022231A(43)申请公布日2022.09.06(21)申请号202210757918.5(22)申请日2022.06.30(71)申请人武汉烽火技术服务有限公司地址430205湖北省武汉市东湖开发区关山二路附4号申请人烽火通信科技股份有限公司(72)发明人黄东东何运波强小应毛斐王建(74)专利代理机构深圳市六加知识产权代理有限公司44372专利代理师张甲一向彬(51)Int.Cl.H04L45/12(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书13页附图9页(54)发明名称一种基于深度强化学习的最优路径规划的方法和系统(57)摘要本发明涉及通信领域，特别是涉及一种基于深度强化学习的最优路径规划的方法和系统。主要包括：建立路由器状态矩阵，使用每次路径规划后的全部路由器状态矩阵迭代建立训练数据集；以每条可行路径执行后指定数量周期中每个周期全网的平均吞吐量之和为Reward，对强化学习模型进行训练；使用训练后的模型建立最优路径树，通过最优路径树进行路由路径选择获取最优路径；根据最优路径将数据包由源路由器发送至目的路由器后，获取下一时刻路由器状态矩阵，对训练数据集进行迭代更新，并使用更新后的训练数据集重新训练模型。本发明可以根据网络中所有链路的当前状态变化以及训练数据集的迭代实现最优路径的动态规划，以获取长期受益最高的路径规划方案。CN115022231ACN115022231A权利要求书1/2页1.一种基于深度强化学习的最优路径规划的方法，其特征在于：获取所有需要进行路径规划的路由器的当前状态，建立路由器状态矩阵；使用每次路径规划后的全部路由器状态矩阵迭代建立训练数据集，训练数据集使用的数据为全网链路的状态四元组，所述状态四元组具体为[路由器状态矩阵,路径,平均吞吐量,下一时刻路由器状态矩阵]；以每条可行路径执行后指定数量周期中每个周期全网的平均吞吐量之和为Reward，对强化学习模型进行训练；使用训练后的模型建立最优路径树，最优路径树中包含源路由器至每一个目标路由器的最优路径，通过最优路径树进行路由路径选择获取最优路径；根据最优路径将数据包由源路由器发送至目的路由器后，获取下一时刻路由器状态矩阵，对训练数据集进行迭代更新，并使用更新后的训练数据集重新训练模型。2.根据权利要求1所述的基于深度强化学习的最优路径规划的方法，其特征在于，所述建立路由器状态矩阵，具体包括：获取每个路由器的状态向量，将所有路由器的状态向量组成状态矩阵，其中，所述状态矩阵中每一行为一个路由器的状态向量，每一列为状态向量中的一个字段，所述路由器状态向量的字段包括每个路由器当前时间点所在的时间段、带宽、当前负载、时延、速率和配置指标中的至少二项。3.根据权利要求1所述的基于深度强化学习的最优路径规划的方法，其特征在于，所述使用每次路径规划后的全部路由器状态矩阵迭代建立训练数据集，具体包括：在全网路径集合中随机选取一条路径作为初始路径，将初始路径的状态四元组作为训练数据集的初始数据；每次完成源路由器至目的路由器的数据包传输后，将整个网络拓扑的状态四元组增加到训练数据集中，对训练数据集进行迭代更新。4.根据权利要求1所述的基于深度强化学习的最优路径规划的方法，其特征在于，所述使用每次路径规划后的全部路由器状态矩阵建立训练数据集，还包括：将训练数据集中的数据用于训练GAN模型，将GAN模型收敛后的数据加入训练数据集中，其中，GAN模型的输出数据结构为状态四元组。5.根据权利要求1所述的基于深度强化学习的最优路径规划的方法，其特征在于，所述以每条可行路径执行后指定数量周期中每个周期全网的平均吞吐量之和为Reward，具体包括：将所有路由器的平均吞吐量之和作为当前周期的Reward，以每次路径规划后指定数量周期中每个周期全网的平均吞吐量之和作为该次路径规划的Reward。6.根据权利要求1所述的基于深度强化学习的最优路径规划的方法，其特征在于，所述使用训练后的模型建立最优路径树，具体包括：获取全网所有路由器真实数据的状态矩阵，将状态矩阵输入至训练后的强化学习模型中；对源路由器至每一个目标路由器生成一条最优路径，将所有最优路径以源路由器为根节点生成最优路径树；每次执行路径规划后，根据新的状态矩阵生成新的最优路径树。2CN115022231A权利要求书2/2页7.根据权利要求1所述的基于深度强化学习的最优路径规划的方法，其特征在于，所述通过最优路径树进行路由路径选择获取最优路径，具体包括：对于每一组源‑目标路由器，由源路由器所在的根节点开始深度遍历最优路径树，直至达到目的路由器，遍历时经过的路由器组成的路径即为该组源‑目标路由器的最优路径。8