一种作业调度方法、作业调度系统及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115048204A(43)申请公布日2022.09.13(21)申请号202210746576.7(22)申请日2022.06.28(71)申请人深圳前海微众银行股份有限公司地址518052广东省深圳市前海深港合作区前湾一路1号A栋201室(72)发明人姚志强王大飞黄琳杨杨江旻吴豪波黄祖寿(74)专利代理机构北京派特恩知识产权代理有限公司11270专利代理师汪哲雯张颖玲(51)Int.Cl.G06F9/48(2006.01)G06F9/50(2006.01)权利要求书2页说明书19页附图6页(54)发明名称一种作业调度方法、作业调度系统及存储介质(57)摘要本申请提供一种作业调度方法、作业调度系统及存储介质，其中，方法包括：在作业调度系统以预设周期频率对作业实例列表进行轮询遍历的过程中，获得作业实例列表中的作业j的可执行时间和配置信息；在基于配置信息，确定作业j满足调度条件的情况下，获得作业j在上一调度周期N内的历史执行记录信息；其中，历史执行记录信息包括实际执行时长T、计划申请资源数和实际使用资源数；基于计划申请资源数和实际使用资源数，确定作业j在上一调度周期N内的作业资源空闲因子；基于配置信息、可执行时间、作业资源空闲因子和实际执行时长，确定作业j的响应比；按照作业j的响应比，向大数据计算平台的资源管理器发送作业j的资源申请。CN115048204ACN115048204A权利要求书1/2页1.一种作业调度方法，其特征在于，包括：在作业调度系统以预设周期频率对作业实例列表进行轮询遍历的过程中，获得所述作业实例列表中的作业j的可执行时间和配置信息；在基于所述配置信息，确定所述作业j满足调度条件的情况下，获得所述作业j在上一调度周期N内的历史执行记录信息；其中，所述历史执行记录信息包括实际执行时长T、计划申请资源数和实际使用资源数；基于所述计划申请资源数和所述实际使用资源数，确定所述作业j在所述上一调度周期N内的作业资源空闲因子；基于所述配置信息、所述可执行时间、所述作业资源空闲因子和所述实际执行时长，确定所述作业j的响应比；按照所述作业j的响应比，向大数据计算平台的资源管理器发送所述作业j的资源申请。2.根据权利要求1所述的方法，其特征在于，所述配置信息包括所述作业j的作业类型、所述作业j的依赖作业和所述作业j的调度周期内的起始时间，所述基于所述配置信息，确定所述作业j满足调度条件，包括：所述作业类型为预设作业类型，所述作业j的依赖作业已执行完成，以及所述作业j的可执行时间达到所述调度周期内的起始时间。3.根据权利要求1所述的方法，其特征在于，所述基于所述计划申请资源数和所述实际使用资源数，确定所述作业j在所述上一调度周期N内的作业资源空闲因子，包括：针对所述作业j在所述上一调度周期N内的第n次执行过程，计算所述作业j的计划申请资源数与实际使用资源数的第一和值；计算所述实际使用资源数与第一预设数值的第一乘积；计算所述第一和值和所述第一乘积的比值，得到所述作业j在所述第n次的作业资源空闲因子，直至得到所述作业j在所述上一调度周期N内的N个作业资源空闲因子。4.根据权利要求2所述的方法，其特征在于，所述配置信息还包括：所述作业j的作业固定优先级、超时起始时间和可重试次数；所述基于所述配置信息、所述可执行时间、所述作业资源空闲因子和所述实际执行时长，确定所述作业j的响应比，包括：获得所述作业j的依赖作业的执行完成时间、所述作业j在本次执行过程中执行失败次数，以及为所述作业实例列表中的作业设置的最大固定优先级；基于所述可执行时间和所述依赖作业的执行完成时间，确定所述作业j在后备状态队列中的等待时长；基于所述可执行时间、所述超时起始时间、所述等待时长、所述可重试次数、所述执行失败次数和所述最大固定优先级，确定所述作业j的作业动态优先级；基于所述作业j在所述上一调度周期N内的第n次执行过程中的实际执行时长和对应的作业资源空闲因子，确定所述作业j在所述上一调度周期N内的平均执行时长；基于所述等待时长、所述作业固定优先级、所述作业动态优先级和所述平均执行时长，确定所述作业j的所述响应比。5.根据权利要求4所述的方法，其特征在于，所述基于所述可执行时间、所述超时起始时间、所述等待时长、所述可重试次数、所述执行失败次数和所述最大固定优先级，确定所述作业j的作业动态优先级，包括：2CN115048204A权利要求书2/2页计算所述可执行时间减去所述超时起始时间的差值，得到所述作业j的超时时长；计算所述等待时长和所述超时时长的第二和值；计算所述第二和值与所述等待时长的第一比值；计算所述可重试次数减去所述执行失败次数的第一差值；计算所述第一差值与所述可重试次数的第二比值；计算所述最大固