任务调度方法、装置、计算设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111290841A(43)申请公布日2020.06.16(21)申请号201811501565.2(22)申请日2018.12.10(71)申请人北京沃东天骏信息技术有限公司地址100032北京市海淀区杏石口路65号西杉创意园四区11号楼东段1-4层西段1-4层(72)发明人邓湘军(74)专利代理机构北京德琦知识产权代理有限公司11018代理人程杰王琦(51)Int.Cl.G06F9/48(2006.01)权利要求书3页说明书12页附图5页(54)发明名称任务调度方法、装置、计算设备及存储介质(57)摘要本申请公开了任务调度方法、装置、计算设备及存储介质。其中，一种任务调度方法包括：执行多次生成操作，生成对待处理数据的多个任务调度计划，其中，每个任务调度计划用于描述对所述待处理数据的多个数据分片的处理任务的执行计划，所述多个数据分片存储在集群中；从所述多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式。本申请的任务调度方案可以启发式发现各种任务调度计划，并使得不同任务调度计划中本地执行的任务量不同，从而选定执行效率最高的任务调度计划作为任务执行方式，进而提高集群处理待处理数据的负载均衡和提高任务执行效率。CN111290841ACN111290841A权利要求书1/3页1.一种任务调度方法，其特征在于，所述方法包括：执行多次生成操作，生成对待处理数据的多个任务调度计划，其中，每个任务调度计划用于描述对所述待处理数据的多个数据分片的处理任务的执行计划，所述多个数据分片存储在集群中；以及从所述多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式；其中，每次执行的生成操作，包括：将所述多个数据分片划分成第一数据分片组和第二数据分片组，其中不同次生成操作对应的第一数据分片组的总任务量不同；将所述第一数据分片组中任一个数据分片的处理任务分配到所述集群中存储该数据分片的一个计算节点，将第一数据分片组中数据分片的任务分配方式作为第一任务分配计划；将所述第二数据分片组中任一个数据分片的处理任务分配到所述集群中未存储该数据分片的一个计算节点，将第二数据分片组中数据分片的任务分配方式作为第二任务分配计划；和将包含第一任务分配计划和第二任务分配计划的分配方式作为本次生成操作生成的一个任务调度计划。2.如权利要求1所述的方法，其特征在于，所述待处理数据为待转码视频，所述多个数据分片为多个视频分片，所述多个数据分片中每个数据分片的处理任务量为每个视频分片的转码任务量。3.如权利要求1所述的方法，其特征在于，所述方法进一步包括：在生成所述多个任务调度计划之前，获取所述待处理数据的多个数据分片中每个数据分片的处理任务量；获取所述集群中各计算节点的计算能力和各计算节点之间数据传输带宽，其中，各计算节点的计算能力用于描述各计算节点在单位时间里处理的任务量。4.如权利要求1所述的方法，其特征在于，将所述多个数据分片划分成第一数据分片组和第二数据分片组，包括：在所述多次生成操作的第一次生成操作中，将所述多个数据分片的总任务量作为所述第一数据分片组的总任务量，根据所述第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组，其中，所述第一数据分片组包括所述多个数据分片，所述第二数据分片组为空；在所述多次生成操作的第一次生成操作之外的任一次生成操作中，将第一数据分片组的总任务量设置为比上一次生成操作中第一数据分片组的总任务量减少一个量阈值，根据设置的第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组。5.如权利要求4所述的方法，其特征在于，所述根据设置的第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组，包括：以所述设置的第一数据分片组的总任务量为基准，从所述多个数据分片中选定数据分片的集合作为所述第一数据分片组；2CN111290841A权利要求书2/3页将所述多个数据分片中不属于第一数据分片组的数据分片加入到第二数据分片组。6.如权利要求1-5中任一项所述的方法，其特征在于，所述将所述第一数据分片组中任一个数据分片的处理任务分配到所述集群中存储该数据分片的一个计算节点，包括：根据第一数据分片组中数据分片的处理任务量和所述集群中计算节点的计算能力，将所述第一数据分片组中任一个数据分片的处理任务分配到存储该数据分片的多个计算节点中的能够最早完成该数据分片的处理任务的一个计算节点中。7.如权利要求6所述的方法，其特征在于，所述根据第一数据分片组中各数据分片的处理任务量和所述集群中各计算节点的计算能力，将所述第一数据分片组中任一个数据分片的处理