时延敏感流转发的方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113726656A(43)申请公布日2021.11.30(21)申请号202110908612.0(51)Int.Cl.(22)申请日2021.08.09H04L12/725(2013.01)H04L12/865(2013.01)(71)申请人北京中电飞华通信有限公司地址100089北京市丰台区樊羊路东旭国际中心A座南楼申请人国网信息通信产业集团有限公司国网浙江省电力有限公司电力科学研究院国家电网有限公司(72)发明人李温静邓伟欧清海刘柱张宁池王艳茹王刘旺马文洁吕东东孙昌华刘卉佘蕊张洁郭丹丹范军丽(74)专利代理机构北京路浩知识产权代理有限公司11002代理人程琛权利要求书2页说明书17页附图3页(54)发明名称时延敏感流转发的方法及装置(57)摘要本发明提供一种时延敏感流转发的方法及装置。所述方法包括：基于每个目标流的交付时延上限，确定每个目标流的优先级；以满足交付时延上限的目标流个数，以及目标流的网络资源使用量最大化为目标，在满足传输约束，资源约束和预设的转发配置的条件下，基于DRL模型，确定每个目标流的转发路径；其中所述预设的转发配置包括：将属于同一个优先级的目标流的数据包放入同一条队列，同一条队列的数据包遵循先进先出的规则，优先级高的目标流的数据包转发完毕再转发优先级低的目标流的数据包。本发明考虑各类业务流不同的敏感程度，对流的优先级进行划分，并根据传输路径限制，保障高优先级高的业务流量最大化被转发，同时提高网络运营商经济收益。CN113726656ACN113726656A权利要求书1/2页1.一种时延敏感流转发的方法，其特征在于，包括：基于每个目标流的交付时延上限，确定每个所述目标流的优先级；以满足交付时延上限的所述目标流个数，以及所述目标流的网络资源使用量最大化为目标，在满足传输约束，资源约束和预设的转发配置的条件下，基于DRL模型，确定每个所述目标流的转发路径；其中所述预设的转发配置包括：将属于同一个优先级的目标流的数据包放入同一条队列，同一条队列的数据包遵循先进先出的规则，优先级高的目标流的数据包转发完毕再转发优先级低的目标流的数据包。2.根据权利要求1所述时延敏感流转发的方法，其特征在于，所述传输约束包括：属于同一目标流的每个数据包的实际交付时延小于等于所述目标流的交付时延上限；属于同一目标流的每个数据包的传输路径的最大跳数小于等于预设的最大跳数MH；其中，每个数据包的实际交付时延由初始转发时刻和传输到目的节点的时刻确定。3.根据权利要求2所述时延敏感流转发的方法，其特征在于，所述属于同一目标流的每个数据包的传输路径的确定方法包括：所述同一目标流的传输路径的长度与目标流的最短路径的长度的差值不超过EL参数；所述同一目标流的跳数不超过预设的最大跳数MH；所述同一目标流的优先级属于同一个优先级；其中，所述每个目标流的EL参数是根据所述每个目标流的优先级确定的，所述EL参数用于表征每个流的优先级Gm的量化表示。4.根据权利要求1所述时延敏感流转发的方法，其特征在于，所述资源约束包括：在任意时刻，每个节点缓存的所有流的数据包个数之和小于等于所述节点的承载能力；当前节点和下一跳节点之间的链路的负载小于等于所述链路的承载能力。5.根据权利要求1所述的时延敏感流转发的方法，其特征在于，所述以满足交付时延上限的目标流个数，以及目标流的网络资源使用量最大化为目标，在满足传输约束，资源约束和预设的转发配置条件下，基于DRL模型，确定每个目标流的转发路径，包括：获取优先级最高的流的待转发数据包所在的当前节点，确定所述当前节点的状态，所述当前节点的状态包括本地节点状态，邻居节点状态；将所述当前节点的状态输入所述DRL模型，输出待转发数据包的对应的动作以及所述动作对应的Q值，所述动作表征所述待转发数据包的下一跳节点；其中，本地节点状态包括：待转发数据包；邻居节点状态包括：邻居节点的拥塞程度，邻居节点缓存占用情况以及当前节点与所述邻居节点间的链路的带宽占用情况；所述DRL模型是基于每个目标流的数据包所属当前节点的状态训练得到的。6.根据权利要求5所述的时延敏感流转发的方法，其特征在于，所述DRL模型是基于每个目标流的数据包所属当前节点的状态训练得到的，包括：根据特定的参数θi初始化DRL模型的神经网络参数；获取所述目标流的待转发数据包所属本地节点的状态，以及所述本地节点的邻居节点的状态；根据所述本地节点状态以及邻居节点状态，确定当前节点的状态；2CN113726656A权利要求书2/2页根据∈‑greedy策略为所述待转发数据包选择动作，确定当前节点下一时刻的奖励值以及状态，并判断下一跳节点是否为目的节点；基于当前节点当前时刻的状态，待转发数据包的动作，当