一种任务的调度方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115080212A(43)申请公布日2022.09.20(21)申请号202210771504.8(22)申请日2022.06.30(71)申请人上海明胜品智人工智能科技有限公司地址200030上海市徐汇区龙兰路277号2号楼5楼5B06单元(72)发明人谢亚雄(74)专利代理机构北京超成律师事务所11646专利代理师盛范钰(51)Int.Cl.G06F9/48(2006.01)G06F9/50(2006.01)权利要求书3页说明书22页附图5页(54)发明名称一种任务的调度方法、装置、设备及存储介质(57)摘要本申请提供了一种任务的调度方法、装置、设备及存储介质，该调度方法包括：接收多个任务提交节点提交的待处理任务；根据待处理任务的任务数量以及多个任务处理节点中处于空闲状态的空闲处理节点的节点数量，从预设的多个任务调度策略中，确定任务调度性能与待处理任务的任务数量相匹配的目标任务调度策略；按照目标任务调度策略，从多个任务处理节点中，为接收到的每个待处理任务分配用于处理该待处理任务的目标任务处理节点。这样，在任务调度过程中，本申请可以节约每个任务提交节点对应的用户终端处需要落地的硬件资源，有利于减轻任务调度过程中消耗的运维成本，提高了对待处理任务的调度效率。CN115080212ACN115080212A权利要求书1/3页1.一种任务的调度方法，其特征在于，所述调度方法应用于调度节点；所述调度方法包括：接收多个任务提交节点提交的待处理任务；其中，所述待处理任务包括：目标业务场景下的模型训练任务和/或所述目标业务场景下的模型应用任务；根据接收到的所述待处理任务的任务数量以及多个任务处理节点中处于空闲状态的空闲处理节点的节点数量，从预设的多个任务调度策略中，确定任务调度性能与所述待处理任务的任务数量相匹配的目标任务调度策略；其中，所述任务调度性能与所述任务调度策略中每个空闲处理节点需要处理的所述待处理任务的任务数量相关；按照所述目标任务调度策略，从所述多个任务处理节点中，为接收到的每个所述待处理任务分配用于处理该待处理任务的目标任务处理节点。2.根据权利要求1所述的调度方法，其特征在于，所述根据接收到的所述待处理任务的任务数量以及多个任务处理节点中处于空闲状态的空闲处理节点的节点数量，从预设的多个任务调度策略中，确定任务调度性能与所述待处理任务的任务数量相匹配的目标任务调度策略，包括：计算所述多个任务处理节点中处于空闲状态的空闲处理节点的节点数量与所述待处理任务的任务数量之间的数量差值；当所述数量差值属于非负数时，从预设的多个任务调度策略中，确定第一任务调度策略作为所述目标任务调度策略；其中，所述第一任务调度策略用于表征利用空闲处理节点对接收到的每个所述待处理任务同时进行并行处理的任务调度策略；当所述数量差值属于负数且所述数量差值的绝对值小于或者等于第一预设阈值时，从预设的多个任务调度策略中，确定第二任务调度策略作为所述目标任务调度策略；其中，所述第二任务调度策略用于表征利用目标数量的空闲处理节点对接收到的所述待处理任务进行并行处理，利用除所述目标数量之外的剩余数量的空闲处理节点对接收到的所述待处理任务进行串行处理的任务调度策略；当所述数量差值属于负数且所述数量差值的绝对值大于所述第一预设阈值时，从预设的多个任务调度策略中，确定第三任务调度策略作为所述目标任务调度策略；其中，所述第三任务调度策略用于表征利用空闲处理节点对接收到的所述待处理任务全部进行串行处理的任务调度策略。3.根据权利要求2所述的调度方法，其特征在于，当所述目标任务调度策略为所述第二任务调度策略时，通过以下方法，确定用于对接收到的所述待处理任务进行并行处理的所述目标数量的空闲处理节点：按照预设的目标数量，从所述多个任务处理节点中处于空闲状态的空闲处理节点中，随机抽取得到所述目标数量的空闲处理节点；或者，根据每个所述待处理任务的预测处理时间，从接收到的全部待处理任务中，确定所述预测处理时间大于预设处理时间阈值的待处理任务作为所述第二任务调度策略中需要进行并行处理的第一待处理任务；以所述第一待处理任务的任务数量作为所述目标数量，从所述多个任务处理节点中处于空闲状态的空闲处理节点中，随机抽取得到所述目标数量的空闲处理节点；2CN115080212A权利要求书2/3页或者，根据每个任务处理节点的任务处理效率，按照优先抽取任务处理效率低的任务处理节点的方式，从所述多个任务处理节点中处于空闲状态的空闲处理节点中，优先抽取得到所述目标数量的空闲处理节点。4.根据权利要求1所述的调度方法，其特征在于，当所述待处理任务为所述模型训练任务时，所述调度方法还包括：针对每一所述模型训练任务，根据该模型训练任务中包括的不同标