任务调度方法及装置、可读存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114168287A(43)申请公布日2022.03.11(21)申请号202111488614.5(22)申请日2021.12.07(71)申请人上海软素科技有限公司地址200333上海市青浦区赵巷镇沪青平公路2855弄1-72号B座12层D区1258室(72)发明人刘闻甲秦宁周学林(74)专利代理机构北京布瑞知识产权代理有限公司11505代理人宗广静(51)Int.Cl.G06F9/48(2006.01)G06F16/28(2019.01)权利要求书2页说明书12页附图13页(54)发明名称任务调度方法及装置、可读存储介质及电子设备(57)摘要本申请提供了一种任务调度方法及装置、可读存储介质及电子设备，涉及数据处理技术领域。该方法包括：响应于任务调度请求指令，获取目标任务对应的任务执行参数；基于任务执行参数，确定目标任务对应的M个上游任务节点；基于M个上游任务节点，确定M个上游任务节点对应的N个任务层；基于N个任务层，执行针对目标任务的任务调度。在提供共同计算资源的前提基础上，能够根据客户意愿随时计算有需求的数据。同时，在调度和存储底层采用租户隔离，在更新当前用户的数据时，保证不会影响其他用户使用。CN114168287ACN114168287A权利要求书1/2页1.一种任务调度方法，其特征在于，包括：响应于任务调度请求指令，获取目标任务对应的任务执行参数；基于所述任务执行参数，确定所述目标任务对应的M个上游任务节点；基于所述M个上游任务节点，确定所述M个上游任务节点对应的N个任务层；基于所述N个任务层，执行针对所述目标任务的任务调度。2.根据权利要求1所述的任务调度方法，其特征在于，所述基于所述任务执行参数，确定所述目标任务对应的M个上游任务节点，包括：基于所述任务执行参数，确定所述目标任务的任务标识信息；基于所述任务标识信息，确定所述M个上游任务节点。3.根据权利要求2所述的任务调度方法，其特征在于，所述基于所述任务标识信息，确定所述M个上游任务节点，包括：判断所述任务标识信息是否已经存在于预设数据库中，所述预设数据库用于存储已执行任务对应的任务调度数据；如果是，基于所述预设数据库确定所述M个上游任务节点；如果否，以所述目标任务对应的节点为起点，递归解析得到所述M个上游任务节点。4.根据权利要求3所述的任务调度方法，其特征在于，所述以所述目标任务对应的节点为起点，递归解析得到所述M个上游任务节点，包括：将所述目标任务对应的节点作为第1个上游任务节点，解析得到所述第1个上游任务节点对应的第一上游任务节点集合；基于所述第一上游任务节点集合，解析第2个上游任务节点，得到所述第2个上游任务节点对应的第二上游任务节点集合；判断所述第二上游任务节点集合是否已经解析；如果未解析，进一步判断所述第二上游任务节点集合是否为空；如果不为空，继续基于所述第二上游任务节点集合进行递归解析，直至得到所述M个上游任务节点。5.根据权利要求1至4任一项所述的任务调度方法，其特征在于，所述基于所述M个上游任务节点，确定所述M个上游任务节点对应的N个任务层，包括：确定数据仓库对应的数仓分层规则信息，所述数据仓库用于存储所述任务调度请求指令对应的指令用户的任务数据；基于所述数仓分层规则信息，将所述目标任务对应的M个上游任务节点分层，得到所述M个上游任务节点对应的N个任务层。6.根据权利要求1至4任一项所述的任务调度方法，其特征在于，所述基于所述N个任务层，执行针对所述目标任务的任务调度，包括：基于所述M个上游任务节点对应的N个任务层，从所述N个任务层中的第1个任务层开始调度，监控所述第1个任务层对应的目标任务状态；判断所述第1个任务层对应的目标任务状态，如果所述第1个任务层对应的目标任务状态更新为成功状态，则判断是否有第2个任务层需要调度，如果有，则继续调度所述第2个任务层，直至调度完所述N个任务层。7.根据权利要求1至4任一项所述的任务调度方法，其特征在于，在所述基于所述N个任2CN114168287A权利要求书2/2页务层，执行针对所述目标任务的任务调度之前，还包括：判断是否存在任务状态为执行中的当前任务；如果存在，则将所述目标任务对应的任务状态更新为等待，直至所述当前任务对应的任务状态更新为成功，判断所述目标任务是否符合当前执行顺序信息，如果符合，则执行所述目标任务。8.根据权利要求1至4任一项的任务调度方法，其特征在于，在所述响应于任务调度请求指令，获取目标任务对应的任务执行参数之前，还包括：获取所述任务调度请求指令对应的指令用户的历史调度数据；判断所述历史调度数据是否满足预设任务调度条件；其中，所述响应于任务调度请求指令，获取目标任务对应的任务执行参数，包括：若满足，