数据处理作业调度方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105912387A(43)申请公布日2016.08.31(21)申请号201510526423.1(22)申请日2015.08.25(71)申请人乐视网信息技术（北京）股份有限公司地址100089北京市海淀区学院南路68号楼19号楼六层6184号房间(72)发明人许鹭清陈抒(74)专利代理机构北京国昊天诚知识产权代理有限公司11315代理人刘戈(51)Int.Cl.G06F9/48(2006.01)权利要求书2页说明书10页附图3页(54)发明名称数据处理作业调度方法及装置(57)摘要本发明实施例提供一种数据处理作业调度方法和装置，所述方法包括：获取预先配置的数据处理流程的各个作业之间的依赖关系；根据所述数据处理流程的各个作业之间的依赖关系，从所述数据处理流程的最终作业开始，针对每一个进行调度的当前作业，判断是否存在当前作业的前提作业；在存在前提作业时，且所述前提作业未运行时，对所述前提作业进行调度；在不存在前提作业，或者所述前提作业均运行成功时，调度当前作业运行，其中，当前作业运行时依赖所述当前作业的前提作业的运行结果。本发明实施例减少了作业调度时间，提高了作业调度效率。CN105912387ACN105912387A权利要求书1/2页1.一种数据处理作业调度方法，其特征在于，包括：获取预先配置的数据处理流程的各个作业之间的依赖关系；根据所述数据处理流程的各个作业之间的依赖关系，从所述数据处理流程的最终作业开始，针对每一个进行调度的当前作业，判断是否存在当前作业的前提作业；在存在前提作业，且所述前提作业未运行时，对所述前提作业进行调度；在不存在前提作业，或者所述前提作业均运行成功时，调度当前作业运行；其中，当前作业运行时依赖当前作业的前提作业的运行结果。2.根据权利要求1所述的方法，其特征在于，所述在存在前提作业，且所述前提作业未运行时，对所述前提作业进行调度包括：在存在前提作业时，获取所述前提作业的运行状态；所述运行状态至少包括未运行、正在运行、运行成功、运行失败以及放弃运行；在所述前提作业的运行状态为未运行时，对所述前提作业进行调度，并更新所述前提作业的运行状态为正在运行；所述在所述前提作业运行成功时，调度所述当前作业运行包括：在所述前提作业的运行状态为运行成功时，调度所述当前作业运行，并根据运行结果更新所述当前作业的运行状态为运行成功或运行失败。3.根据权利要求2所述的方法，其特征在于，在所述前提作业的运行状态为正在运行时，所述方法还包括：等待所述前提作业运行结束时，返回执行所述获取所述前提作业的运行状态的步骤；在所述前提作业的运行状态为运行失败或放弃运行时，所述方法还包括：终止对当前作业的调度，并更新当前作业的运行状态为放弃运行。4.根据权利要求1～3任一项所述的方法，其特征在于，每一个作业在一个进程中运行；当存在所述当前作业的前提作业时，所述方法还包括：创建运行所述当前作业的进程的子进程，由所述子进程运行所述前提作业；其中，每一个进程在其所有子进程对应的作业均运行成功之后执行。5.根据权利要求4所述的方法，其特征在于，所述数据处理流程的各个作业之间的依赖关系通过有向无环图表示；获取预先配置的数据处理流程的各个作业之间的依赖关系包括：获取预先配置的表示数据处理流程的各个作业之间的依赖关系的有向无环图；所述根据所述数据处理流程的各个作业之间的依赖关系，从所述数据处理流程的最终作业开始，针对每一个当前作业，判断是否存在当前作业的前提作业包括：按照所述有向无环图表示的所述数据处理流程的各个作业之间的依赖关系，从所述数据处理流程的最终作业开始，针对每一个当前作业，判断是否存在当前作业的前提作业。6.一种数据处理作业调度装置，其特征在于，包括：获取模块，用于获取预先配置的数据处理流程的各个作业之间的依赖关系；判断模块，用于根据所述数据处理流程的各个作业之间的依赖关系，从所述数据处理流程的最终作业开始，针对每一个进行调度的当前作业，判断是否存在当前作业的前提作业；2CN105912387A权利要求书2/2页第一调度模块，用于在存在前提作业时，且所述前提作业未运行时，对所述前提作业进行调度；第二调度模块，用于在不存在前提作业时，调度所述当前作业运行；第三调度模块，用于在存在前提作业，且所述前提作业均运行成功时，调度所述当前作业运行；其中，当前作业运行时依赖所述当前作业的前提作业的运行结果。7.根据权利要求6所述的装置，其特征在于，所述第一调度模块包括：状态获取单元，用于在存在当前作业的前提作业时，获取所述前提作业的运行状态；所述运行状态至少包括未运行、正在运行、运行成功、运行失败以及放弃运行；第一调度单元，用于在所述前提作业的运行状态为未运行时，对所述