一种基于计算节点资源情况的动态任务调度方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115048203A(43)申请公布日2022.09.13(21)申请号202210726872.0(22)申请日2022.06.23(71)申请人高新兴讯美科技股份有限公司地址400050重庆市九龙坡区科园一路5号创新大厦7楼(72)发明人周勇简勇范冰川(74)专利代理机构西安赛嘉知识产权代理事务所(普通合伙)61275专利代理师张少君(51)Int.Cl.G06F9/48(2006.01)G06F9/50(2006.01)权利要求书1页说明书4页附图1页(54)发明名称一种基于计算节点资源情况的动态任务调度方法(57)摘要本发明公开了一种基于计算节点资源情况的动态任务调度方法，该调度方法包括以下步骤：任务重组；本方案按照任务资源需求量进行重组后匹配到各个节点执行，通过运行实验得到节点剩余资源是在稳定的范围内波动，这就可以让使用本方法的分布式系统待执行的任务分组和承接计算的节点之间形成了相对稳定的关系，之所以设计一个动态的节点调度器，目的是当节点因系统外因素导致剩余资源的变化，可按照实现快速动态的调整任务执行匹配调整，同时满足符合系统业务的要求，在传统分布式系统的基础上，实现了一个任务分配均衡，资源利用率和任务完成效率高的方法。CN115048203ACN115048203A权利要求书1/1页1.一种基于计算节点资源情况的动态任务调度方法，其特征在于：该调度方法包括以下步骤：S1：任务重组，根据任务所遵守的业务、时间和相互依赖综合运算优先级排序的基础上，对包含CPU、RAM以及带宽的计算资源需求进行任务重新分组，形成分布式系统的资源需求池，并计算得出所需资源的综合需求M；S2：动态的节点匹配，设计节点调度器，用于实时采集计算节点上当前CPU、RAM以及带宽，并计算该节点的剩余资源P；S3：任务分发，初始化相关参数，当任务队列为非空时，根据综合需求M将任务分配给节点调度器匹配的最佳节点执行，并在执行过程中，根据剩余资源P，动态调整，确保所配资源满足分布式系统最低资源需求。2.根据权利要求1所述的一种基于计算节点资源情况的动态任务调度方法，其特征在于：所述S1中，综合需求M的计算公式如下：M＝Ck1+Rk2+Nk3其中，M为任务分组综合需求，C为CPU的计算资源需求，R为内存资源需求，N为网络带宽需求，k1，k2，k3为权重，每个待执行的分组形成一个资源需求范围，最低需求为Ml，最高需求为Mm。3.根据权利要求2所述的一种基于计算节点资源情况的动态任务调度方法，其特征在于：所述S2中，剩余资源P的计算公式如下：P＝(1‑C)α+(1‑R)β+(1‑N)γ,0＜C≤1,0＜R≤1,0＜N≤1；其中：C、R和N为CPU、RAM和带宽的占有率，α、β和γ为权值；当Ml≤P×n≤Mm，其中的n为一次性分配的任务数量取值范围为“n≥1”，将该计算节点与待分配额任务组进行匹配，当任务分配器分配任务时，可以向节点调度器调度的最佳节点分配任务。4.根据权利要求3所述的一种基于计算节点资源情况的动态任务调度方法，其特征在于：所述S3中，初始化相关参数，即初始化k1，k2，k3以及α、β和γ，且在根据剩余资源P数据后，动态调整n值。2CN115048203A说明书1/4页一种基于计算节点资源情况的动态任务调度方法技术领域[0001]本发明涉及计算机技术领域，具体是一种基于计算节点资源情况的动态任务调度方法。背景技术[0002]目前在分布式系统中常用的任务调度方法有两种，一是轮询调度算法，二是Min‑Min方法。[0003]轮询调度方法直接将待执行的任务按照任务顺序和计算节点的顺序依次下发到各节点，计算节点收到任务后开始执行，该方法简单易实现、运行成本低，对于小规模任务量或者计算节点资源配置丰富的分布式系统工作效率高；Min‑Min方法在轮询调度方法的基础之上，在任务执行之前增了一个对任务完成所需时间计算，并按照任务所需完成时间进行排序后，将任务分配给满足任务完成时间的执行计算节点执行，好处在计算节点空闲资源相对稳定和富裕的分布式系统，也能确保系统的运行效率和稳定性。[0004]相对于简单的分布式系统和计算节点资源配置富裕、稳定，无论是轮询调度方法还是Min‑Min方法都能很好的确保分布式系统任务完成时间短，效率高，系统稳定，但是在实际应用中，分布式系统任务更复杂，且执行任务计算节点的空闲资源是受限并实时动态变化。这就造成了使用以上两种常规任务调度方法的分布式系统，因待执行任务数量大和计算节点空闲资源不均衡，让部分节点负载过重造成任务堵塞让分布式系统运行效率和系统稳定性被降低，而另外一部分计算节点因分配不上而浪费；因此，针对上述问题提出一种基于计算节点资源情况的动态任务调度方法。发明内容