数据处理作业调度方法、装置及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105893122A(43)申请公布日2016.08.24(21)申请号201510526866.0(22)申请日2015.08.25(71)申请人乐视网信息技术（北京）股份有限公司地址100089北京市海淀区学院南路68号楼19号楼六层6184号房间(72)发明人许鹭清陈抒(74)专利代理机构北京国昊天诚知识产权代理有限公司11315代理人刘戈(51)Int.Cl.G06F9/48(2006.01)权利要求书2页说明书11页附图4页(54)发明名称数据处理作业调度方法、装置及系统(57)摘要本发明实施例提供一种数据处理作业调度方法、装置及系统，所述方法包括：获取预先配置的数据处理流程的各个作业之间的依赖关系；初始化数据处理流程的各个作业的运行状态为不可运行，生成第一更新指令；响应所述第一更新指令，将不存在前提作业的运行状态更新为可以运行；调度运行状态为可以运行的作业运行，根据运行结果更新所述作业的运行状态为运行成功或运行失败，并生成第二更新指令；响应所述第二更新指令，将存在前提作业，且所述前提作业的运行状态均为运行成功的作业的运行状态，更新为可以运行。本发明实施例减少作业调度时间，提高了作业调度效率。CN105893122ACN105893122A权利要求书1/2页1.一种数据处理作业调度方法，其特征在于，包括：获取预先配置的数据处理流程的各个作业之间的依赖关系；初始化数据处理流程的各个作业的运行状态为不可运行，生成第一更新指令；响应所述第一更新指令，按照所述数据处理流程的各个作业之间的依赖关系，将不存在前提作业的作业的运行状态更新为可以运行；调度运行状态为可以运行的作业运行，根据运行结果更新所述作业的运行状态为运行成功或运行失败，并生成第二更新指令；响应所述第二更新指令，按照所述数据处理流程的各个作业之间的依赖关系，将存在前提作业，且所述前提作业的运行状态均为运行成功的作业的运行状态，更新为可以运行。2.根据权利要求1所述的方法，其特征在于，调度运行状态为可以运行的作业运行，并根据运行结果更新所述作业的运行状态为运行成功或运行失败，生成第二更新指令之后，所述方法还包括：响应所述第二更新指令，按照所述数据处理流程的各个作业之间的依赖关系，将存在前提作业，且任一前提作业运行状态为运行失败或放弃运行的作业的运行状态，更新为放弃运行。3.根据权利要求1所述的方法，其特征在于，所述调度运行状态为可以运行的作业运行包括：将运行状态为可以运行的作业提供给多个计算节点，由至少一个计算节点运行至少一个运行状态为可以运行的作业。4.根据权利要求1所述的方法，其特征在于，所述数据处理流程的各个作业之间的依赖关系通过有向无环图表示；获取预先配置的数据处理流程的各个作业之间的依赖关系包括：获取预先配置的表示数据处理流程的各个作业之间的依赖关系有向无环图；所述响应所述第一更新指令，按照所述数据处理流程的各个作业之间的依赖关系，将不存在前提作业的作业的运行状态更新为可以运行包括：响应所述第一更新指令，按照所述有向无环图表示的数据处理流程的各个作业之间的依赖关系，将不存在前提作业的作业的运行状态更新为可以运行；所述响应所述第二更新指令，按照所述数据处理流程的各个作业之间的依赖关系，将存在前提作业，且所述前提作业的运行状态均为运行成功的作业的运行状态，更新为可以运行包括：响应所述第二更新指令，按照所述有向无环图表示的所述数据处理流程的各个作业之间的依赖关系，将存在前提作业，且所述前提作业的运行状态均为运行成功的作业的运行状态，更新为可以运行。5.一种数据处理作业调度装置，其特征在于，包括：作业调度模块，用于初始化数据处理流程的各个作业的运行状态为不可运行，生成第一更新指令；调度运行状态为可以运行的作业运行，根据运行结果更新所述作业的运行状态为运行成功或运行失败，并生成第二更新指令；规则确定模块，用于获取预先配置的数据处理流程的各个作业之间的依赖关系；响应所述第一更新指令，按照所述数据处理流程的各个作业之间的依赖关系，将不存在前提作2CN105893122A权利要求书2/2页业的作业的运行状态更新为可以运行；响应所述第二更新指令，按照所述数据处理流程的各个作业之间的依赖关系，将存在前提作业，且所述前提作业的运行状态均为运行成功的作业的运行状态，更新为可以运行。6.根据权利要求5所述的装置，其特征在于，所述规则确定模块还用于：响应所述第二更新指令，按照所述数据处理流程的各个作业之间的依赖关系，将存在前提作业，且任一前提作业运行状态为运行失败或放弃运行的作业的运行状态，更新为放弃运行。7.根据权利要求5所述的装置，其特征在于，所述作业调度模块调度运行状态为可以运行的作业运行具体是：将运