作业处理方法、装置、系统、电子设备以及存储介质.pdf

本申请涉及数据处理技术领域,尤其涉及一种作业处理方法,作业处理装置,作业处理系统,电子设备以及计算机可读存储介质。作业处理方法包括:接收到待处理作业;将待处理作业划分为多个分区作业,各个分区作业用于在不同的作业节点上执行;根据分区作业的数据量,确定多个分区作业中的待拆分作业,待拆分作业的数据量超过预设的数据量阈值;将待拆分作业拆分为多个子作业;调度多个子作业在待拆分作业的作业节点上异步执行,以将待拆分作业的作业节点的工作负载保持在设定负载以下。本申请在提供作业处理效率的同时,可以将作业节点的工作负载保持在设定负载以下,以避免作业节点发生宕机。