一种分布式任务调度方法、装置、存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113656157A(43)申请公布日2021.11.16(21)申请号202110912032.9(22)申请日2021.08.10(71)申请人北京锐安科技有限公司地址100044北京市海淀区西小口路66号中关村东升科技园北领地B-2号楼七层(72)发明人何星谢永恒程强(74)专利代理机构北京品源专利代理有限公司11332代理人黄立伟(51)Int.Cl.G06F9/48(2006.01)权利要求书2页说明书9页附图4页(54)发明名称一种分布式任务调度方法、装置、存储介质及电子设备(57)摘要本申请实施例公开了一种分布式任务调度方法、装置、存储介质及电子设备。该方法包括：接收第三方应用发送的任务调度请求；其中，所述任务调度请求包括调度策略和任务类型；根据所述任务类型，确定与所述任务类型相对应的预先配置的分布式任务调度组件；其中，所述分布式任务调度组件包括任务管理组件、任务运行组件、任务分析组件以及任务统计组件中的至少一种；基于所述调度策略，利用所述分布式任务调度组件创建目标任务，并对所述目标任务进行调度执行。本技术方案，可以基于预先配置的分布式任务调度组件实现对各个任务调度的执行，工作效率高。且不需要开发多套访问程序，工作量低。CN113656157ACN113656157A权利要求书1/2页1.一种分布式任务调度方法，其特征在于，包括：接收第三方应用发送的任务调度请求；其中，所述任务调度请求包括调度策略和任务类型；所述调度策略用于表征任务调度执行的步骤；所述任务类型包括任务管理类型、任务运行类型、任务分析类型以及任务统计类型中的至少一种；根据所述任务类型，确定与所述任务类型相对应的预先配置的分布式任务调度组件；其中，所述分布式任务调度组件包括任务管理组件、任务运行组件、任务分析组件以及任务统计组件中的至少一种；基于所述调度策略，利用所述分布式任务调度组件创建目标任务，并对所述目标任务进行调度执行。2.根据权利要求1所述的方法，其特征在于，所述目标任务进行调度执行，包括：对所述目标任务进行任务调度，得到待处理调度任务；其中，所述任务调度包括任务步骤控制、任务执行优先级控制以及任务超时控制；通过作业执行器对所述待处理调度任务进行处理，得到执行结果，并将所述执行结果进行反馈。3.根据权利要求2所述的方法，其特征在于，通过作业执行器对所述待处理调度任务进行处理，包括：根据任务类型，确定与任务类型相匹配的作业执行器，并通过所述作业执行器对所述待处理调度任务进行处理。4.根据权利要求3所述的方法，其特征在于，所述作业执行器包括SPARK执行器、SQL执行器和HTTP执行器；相应的，根据任务类型，确定与任务类型相匹配的作业执行器，包括：若所述任务类型是任务管理类型，则确定与所述任务类型相匹配的作业执行器是SQL执行器；若所述任务类型是任务运行类型，则确定与所述任务类型相匹配的作业执行器是HTTP执行器；若所述任务类型是任务分析类型或任务统计类型，则确定与所述任务类型相匹配的作业执行器是SPARK执行器。5.根据权利要求3所述的方法，其特征在于，通过所述作业执行器对所述待处理调度任务进行处理，包括：若在对待处理调度任务处理过程中产生数据读取请求，则基于数据访问层对数据存储层中的数据进行读取，得到目标数据，并将目标数据反馈至作业执行器。6.根据权利要求5所述的方法，其特征在于，若在对待处理调度任务处理过程中产生数据读取请求，则基于数据访问层对数据存储层中的数据进行读取，包括：基于预先配置的适配器确定所述数据读取请求中的字段信息；根据所述字段信息，确定与所述字段信息相关联的数据访问层，并基于所述数据访问层对数据存储层中的数据进行读取；其中，所述数据访问层包括结构化数据访问服务、非结构化数据访问服务和HDFS文件操作服务；所述数据存储层包括结构化数据存储、非结构化数据存储和文件存储。7.根据权利要求1所述的方法，其特征在于，接收第三方应用发送的任务调度请求，包2CN113656157A权利要求书2/2页括：若第三方应用发送的任务调度请求满足服务接口条件，则接收第三方应用发送的任务调度请求；其中，所述服务接口条件包括：限流约束条件、安全访问控制条件以及负载均衡条件。8.一种分布式任务调度装置，其特征在于，包括：任务调度请求接收模块，用于接收第三方应用发送的任务调度请求；其中，所述任务调度请求包括调度策略和任务类型；所述调度策略用于表征任务调度执行的步骤；所述任务类型包括任务管理类型、任务运行类型、任务分析类型以及任务统计类型中的至少一种；分布式任务调度组件确定模块，用于根据所述任务类型，确定与所述任务类型相对应的预先配置的分布式任务调度组件；其中，所述分布式任务调度