一种作业调度方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760493A(43)申请公布日2021.12.07(21)申请号202011224720.8(22)申请日2020.11.05(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人李超(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张一军王安娜(51)Int.Cl.G06F9/48(2006.01)G06F9/50(2006.01)G06N20/00(2019.01)权利要求书2页说明书16页附图6页(54)发明名称一种作业调度方法和装置(57)摘要本发明公开了一种作业调度方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：采用训练好的时长计算模型计算各个作业的预估运行时长；根据所述各个作业的预估运行时长和优先级，将所述各个作业分成不同类型的作业，并将所述各个作业分别放入对应类型的作业等待队列中；根据预先配置的最大并行度和保留并行度，判断各个类型的作业是否满足提交条件；若是，则从对应类型的作业等待队列中取出作业，并提交所述作业。该实施方式能够解决作业长时间等待的技术问题。CN113760493ACN113760493A权利要求书1/2页1.一种作业调度方法，其特征在于，包括：采用训练好的时长计算模型计算各个作业的预估运行时长；根据所述各个作业的预估运行时长和优先级，将所述各个作业分成不同类型的作业，并将所述各个作业分别放入对应类型的作业等待队列中；根据预先配置的最大并行度和保留并行度，判断各个类型的作业是否满足提交条件；若是，则从对应类型的作业等待队列中取出作业，并提交所述作业。2.根据权利要求1所述的方法，其特征在于，将所述各个作业分成不同类型的作业，包括：按照由高到低M个作业优先级别和从长到短N个作业时长分区，将所述各个作业分成M*N个不同类型的作业；其中，M和N均为大于零的整数。3.根据权利要求2所述的方法，其特征在于，还包括：分别配置运行中作业最大并行度、除最短时长以外的各个优先级各个时长作业最大并行度和除最高优先级以外的各个低优先级作业保留并行度。4.根据权利要求3所述的方法，其特征在于，根据预先配置的最大并行度和保留并行度，判断各个类型的作业是否满足提交条件，包括：按照优先级由高到低、时长由长到短的顺序依次轮询各个不同类型的作业等待队列，并且根据作业最大并行度、除最短时长以外的各个优先级各个时长作业最大并行度和除最高优先级以外的各个低优先级作业保留并行度，判断所述各个类型的作业是否满足提交条件。5.根据权利要求4所述的方法，其特征在于，根据作业最大并行度、除最短时长以外的各个优先级各个时长作业最大并行度和除最高优先级以外的各个低优先级作业保留并行度，判断各个类型的作业是否满足提交条件，包括：对于除最低优先级和最短时长以外的较高优先级较长时长作业类型，判断是否同时满足以下提交条件：运行中当前优先级当前时长作业数量小于当前优先级当前时长作业最大并行度；运行中作业数量小于运行中作业最大并行度；运行中作业最大并行度减去运行中作业数量的差值大于第一最小值；对于除最低优先级的较高优先级最短时长作业类型，判断是否同时满足以下提交条件：运行中作业数量小于运行中作业最大并行度；运行中作业最大并行度减去运行中作业数量的差值大于第二最小值；对于除最短时长以外的最低优先级各个时长作业类型，判断是否同时满足以下提交条件：运行中当前优先级当前时长作业数量小于当前优先级当前时长作业最大并行度；运行中作业数量小于运行中作业最大并行度；对于最低优先级最短时长作业类型，判断是否满足以下提交条件：运行中的作业的数量小于运行中作业最大并行度。6.根据权利要求1所述的方法，其特征在于，从对应类型的作业等待队列中取出作业，2CN113760493A权利要求书2/2页并提交所述作业，包括：按照先进先出调度算法，从对应类型的作业等待队列中取出作业，并提交所述作业；待所述作业运行结束之后，将所述作业的实际运行时长保存到数据库中。7.根据权利要求1所述的方法，其特征在于，采用训练好的时长计算模型计算各个作业的预估运行时长之前，还包括：从数据库中获取各个样本作业及其对应的实际运行时长，从所述各个样本作业的查询语句中提取作业特征信息；其中，所述作业特征信息包括以下至少一种：数据表表名、查询条件、聚合操作、连接操作、排序操作和条数限制；以所述各个样本作业的作业特征信息和实际运行时长作为训练样本，输入到机器学习模型中进行有监督训练，得到训练好的时长计算模型。8.一种作业调度装置，其特征在于，包括：计算模块，用于采用训练好的时长计算模型计算各个作业的预估运行时长；分类模块，用于根据所述