任务调度系统、方法、电子设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113051049A(43)申请公布日2021.06.29(21)申请号202110262485.1(22)申请日2021.03.09(66)本国优先权数据202010666565.92020.07.10CN(71)申请人北京迈格威科技有限公司地址100090北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人武庚晨(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人唐正瑜(51)Int.Cl.G06F9/48(2006.01)G06F9/50(2006.01)权利要求书2页说明书13页附图3页(54)发明名称任务调度系统、方法、电子设备及可读存储介质(57)摘要本申请提供一种任务调度系统、方法、电子设备及可读存储介质，涉及计算机技术领域，该任务调度系统包括对外接口层，计算引擎层，原子接口层和硬件抽象层。通过分层设计，可实现计算平台和算法场景与上层业务解耦，当需要计算平台扩展或算法场景扩展时，无需重新设计整个系统，节省了开发成本和时间。CN113051049ACN113051049A权利要求书1/2页1.一种任务调度系统，其特征在于，所述系统包括：对外接口层，用于接收目标任务，所述目标任务包括待处理数据和目标任务类型；计算引擎层，用于根据所述目标任务类型对应的配置信息，将所述目标任务拆分成多个由计算平台的处理器执行的子任务，并将所述子任务提交给原子接口层；其中，所述配置信息包含完成所述目标任务所要执行的子任务和各个子任务之间的依赖关系；所述原子接口层，用于确定执行各所述子任务所需的处理器，通过调用计算平台的计算接口将所述子任务分发至相应处理器；硬件抽象层，包含至少一个计算平台的计算接口。2.根据权利要求1所述的系统，其特征在于，所述目标任务的数量为多个；所述计算引擎层包括任务拆分模块、异步任务模块和任务处理模块；所述任务拆分模块，用于根据所述目标任务类型对应的配置信息，将每个目标任务拆分成多个由计算平台的处理器执行的子任务，得到每个目标任务的子任务执行流；所述异步任务模块，用于将多个所述目标任务插入到异步任务队列中；所述任务处理模块，用于从所述异步任务队列中获取当前处理的当前目标任务，执行所述当前目标任务的子任务，直到所述当前目标任务的各子任务均执行完毕，所述执行当前目标任务的子任务包括：根据所述当前目标任务的子任务执行流从所述当前目标任务的各子任务中确定当前要执行的当前子任务，将所述当前子任务提交给所述原子接口层。3.根据权利要求2所述的系统，其特征在于，所述执行当前目标任务的子任务还包括：从所述原子接口层获取当前子任务的执行结果，将当前子任务作为上一子任务，将所述执行结果作为新的当前子任务的输入；根据所述当前目标任务的子任务执行流从所述当前目标任务的各子任务中确定当前要执行的当前子任务包括：根据所述上一子任务和所述当前目标任务的子任务执行流，从所述当前目标任务的各子任务中确定当前要执行的当前子任务。4.根据权利要求1‑3任一项所述的系统，其特征在于，每个子任务都有其对应的处理器类型；所述将当前子任务提交给所述原子接口层，包括：将所述当前子任务提交给所述当前处理器类型对应的worker模块，所述worker模块位于所述原子接口层。5.根据权利要求1‑4任一项所述的系统，其特征在于，所述确定执行各所述子任务所需的处理器，包括：对所述计算平台的处理器进行负载统计，并根据处理器的负载情况，确定执行当前子任务的处理器。6.根据权利要求5所述的系统，其特征在于，所述根据处理器的负载情况，确定执行所述当前子任务的处理器，包括：根据接收当前子任务的worker模块对应的处理器类型确定当前处理器类型，确定当前处理器类型对应的各处理器的负载情况，根据所述负载情况从当前处理器类型对应的各处理器中确定执行所述当前子任务的处理器。7.根据权利要求2‑6任一项所述的系统，其特征在于，所述计算引擎层所能获取的当前目标任务的最大数量为N个，对于多个所述当前目标任务，执行各当前目标任务的子任务的步骤并行执行。8.根据权利要求1‑7任一项所述的系统，其特征在于，2CN113051049A权利要求书2/2页所述对外接口层包括handle接口；所述handle接口，用于接收算法句柄的初始化请求，所述初始化请求包括所述目标任务的配置信息和与所述目标任务相关的需加载的模型信息；所述根据目标任务类型对应的配置信息，将多个所述目标任务拆分成多个由计算平台的处理器执行的子任务，包括：根据目标任务类型对应的配置信息，将所述模型信息组织成所述目标任务的子任务执行流。9.根据权利要求1‑8任一项所述的系统，其特征在于，所述硬件抽象层，还用于通过注册回调函数的