预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共28页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115129438A(43)申请公布日2022.09.30(21)申请号202110325235.8(22)申请日2021.03.26(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人刘荣华(74)专利代理机构中原信达知识产权代理有限责任公司11219专利代理师张效荣韩黎捷(51)Int.Cl.G06F9/48(2006.01)G06F9/50(2006.01)权利要求书3页说明书18页附图6页(54)发明名称任务分布式调度的方法和装置(57)摘要本发明公开了任务分布式调度的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:接收应用系统的待处理任务,根据待处理任务的任务信息确定待处理任务的分片总数,然后将待处理任务写入对应优先级的任务列表;任务信息包括:任务标识和优先级;异步从每个优先级的任务列表中获取任务分片放入对应优先级的任务分片调度队列;异步消费每个优先级的任务分片调度队列中的任务分片,然后调用应用系统中的程序幂等执行消费到的任务分片。该实施方式能够在复杂多变的任务分布式处理需求下,高效、健壮、平滑地支持大任务的分布式调度。CN115129438ACN115129438A权利要求书1/3页1.一种任务分布式调度的方法,其特征在于,包括:接收应用系统的待处理任务,根据所述待处理任务的任务信息确定所述待处理任务的分片总数,然后将所述待处理任务写入对应优先级的任务列表;所述任务信息包括:任务标识和优先级;异步从每个优先级的任务列表中获取任务分片放入对应优先级的任务分片调度队列;异步消费每个优先级的任务分片调度队列中的任务分片,然后调用应用系统中的程序幂等执行消费到的任务分片。2.如权利要求1所述的方法,其特征在于,所述任务分片调度队列包括:任务标识、队列容量和最大任务分片序号;异步从每个优先级的任务列表中获取任务分片放入对应优先级的任务分片调度队列,包括:对于任一优先级,监控所述任一优先级的任务分片调度队列的最大任务分片序号,当所述最大任务分片序号小于所述任一优先级的任务分片调度队列的队列容量时,从所述任一优先级的任务列表中获取任务分片放入所述任一优先级的任务分片调度队列,直到所述任一优先级的任务分片调度队列的最大任务分片序号等于队列容量、或者所述任一优先级的任务列表为空。3.如权利要求2所述的方法,其特征在于,所述任务信息包括:任务规模和任务分片粒度;所述方法还包括:在从所述任一优先级的任务列表中获取任务分片放入所述任一优先级的任务分片调度队列之前,根据任务处理集群的线程总数和所述任一优先级的线程比例,确定所述任一优先级的任务分片消费线程数,根据任务处理集群实例总数和所述任一优先级的任务分片消费线程数,确定所述任一优先级的任务分片调度队列的队列容量。4.如权利要求2所述的方法,其特征在于,所述任务信息包括:任务标识、已调度分片数和分片总数;所述任务列表包括任务游标;从所述任一优先级的任务列表中获取任务分片放入所述任一优先级的任务分片调度队列,包括:根据所述任一优先级的任务列表的任务游标,确定目标任务;从所述任一优先级的任务列表中获取所述目标任务的已调度分片数和分片总数;当所述目标任务的已调度分片数小于分片总数时,构建所述目标任务的下一任务分片信息,并放入所述任一优先级的任务分片调度队列队尾,同时更新所述目标任务的已调度分片数和所述任一优先级的任务列表的任务游标;当所述目标任务的已调度分片数量等于分片总数时,将所述目标任务从所述任一优先级的任务列表中删除,更新所述任一优先级的任务列表的任务游标,以所述任务游标指向的下一任务作为目标任务;循环分配目标任务的任务分片到所述任一优先级的任务分片调度队列。5.如权利要求1所述的方法,其特征在于,异步消费每个优先级的任务分片调度队列中的任务分片,包括:对于任一优先级,异步利用所述任一优先级的线程池中的线程,按照从前到后的顺序从所述任一优先级的任务分片调度队列中获取一个任务分片;若所述任一优先级的任务分片调度队列中不存在任务分片,则间隔预设等待时长之后,异步按照从前到后的顺序从所述任一优先级的任务分片调度队列中获取一个任务分片。6.如权利要求5所述的方法,其特征在于,所述方法还包括:2CN115129438A权利要求书2/3页若间隔预设等待时长之后,所述任一优先级的任务分片调度队列中仍然不存在任务分片,则异步按照从前到后的顺序从下一个优先级的任务分片调度队列中获取一个任务分片,直到所有任务分片调度队列均为空。7.如权利要求5所述的方法,其特征在于,所述方法还包括:在利用所述任一优先级的线程池中的线程,按照从前到后的顺序从所述任一优先级