资源调度方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114237891A(43)申请公布日2022.03.25(21)申请号202111555577.5(22)申请日2021.12.17(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人李超(74)专利代理机构华进联合专利商标代理有限公司44224代理人唐敏(51)Int.Cl.G06F9/50(2006.01)权利要求书2页说明书13页附图5页(54)发明名称资源调度方法、装置、电子设备及存储介质(57)摘要本公开关于一种资源调度方法、装置、电子设备及存储介质。所述方法包括：通过全局管理组件接收混洗处理节点发送的资源信息，全局管理组件和所述混洗处理节点分别独立封装于计算引擎之外；通过全局管理组件从第一调度队列中获取任务的资源请求，第一调度队列用于存储任务的资源请求，资源请求是在计算引擎启动任务时发送至全局管理组件，并通过全局管理组件添加至第一调度队列中的；通过全局管理组件处理资源请求，根据混洗处理节点的资源信息，确定用于处理任务的目标混洗处理节点。根据本公开的方案，通过全局管理组件实现对混洗处理节点和任务的资源请求的全局管理，将流量均匀打散到各个混洗处理节点上，实现全局资源负载均衡。CN114237891ACN114237891A权利要求书1/2页1.一种资源调度方法，其特征在于，所述方法包括：通过全局管理组件接收混洗处理节点发送的资源信息，所述全局管理组件和所述混洗处理节点分别独立封装于计算引擎之外；通过所述全局管理组件从第一调度队列中获取任务的资源请求，所述第一调度队列用于存储所述任务的资源请求，所述资源请求是在所述计算引擎启动任务时发送至所述全局管理组件，并通过所述全局管理组件添加至所述第一调度队列中的；通过所述全局管理组件处理所述资源请求，根据所述混洗处理节点的资源信息，确定用于处理所述任务的目标混洗处理节点。2.根据权利要求1所述的资源调度方法，其特征在于，所述全局管理组件包括任务状态服务；所述方法还包括：当所述计算引擎启动所述任务时，通过任务管理组件向所述全局管理组件中的所述任务状态服务发送所述任务的资源请求，所述任务管理组件为独立封装于所述计算引擎之外的组件；通过所述任务状态服务将所述资源请求添加至所述第一调度队列。3.根据权利要求2所述的资源调度方法，其特征在于，用于处理所述任务的目标混洗处理节点包括与所述任务的各个分区相对应的目标混洗处理节点；在所述确定用于处理所述任务的目标混洗处理节点之后，还包括：通过所述全局管理组件建立所述任务的分区与所述目标混洗处理节点之间的映射关系，通过所述任务状态服务将所述映射关系发送至所述任务管理组件；通过混洗写入节点从所述任务管理组件处获取所述映射关系，所述混洗写入节点为独立封装于所述计算引擎之外的节点，用于接收所述计算引擎中的映射任务对所述任务进行处理得到的键值数据；当所述混洗写入节点获取对所述任务进行映射处理得到的键值数据后，按照所述映射关系，将各个所述分区的键值数据发送至与各个所述分区对应的目标混洗处理节点。4.根据权利要求1～3任一项所述的资源调度方法，其特征在于，所述全局管理组件包括节点状态服务；所述通过全局管理组件接收混洗处理节点发送的资源信息，包括：通过所述全局管理组件中的节点状态服务接收所述混洗处理节点发送的资源信息。5.根据权利要求1～3任一项所述的资源调度方法，其特征在于，所述方法还包括：当所述全局管理组件处理所述资源请求失败时，将所述资源请求添加至第二调度队列；在满足预设的请求调度条件时，从所述第二调度队列获取所述资源请求，并重新将所述资源请求添加至所述第一调度队列。6.根据权利要求1～3任一项所述的资源调度方法，其特征在于，所述方法还包括：当所述全局管理组件确定所述目标混洗处理节点发生异常时，获取所述目标混洗处理节点的异常类型；采用与所述异常类型相对应的异常处理方式，重新确定用于处理所述任务的新的目标混洗处理节点。7.一种资源调度装置，其特征在于，所述装置包括：2CN114237891A权利要求书2/2页接收模块，被配置为执行通过全局管理组件接收混洗处理节点发送的资源信息，所述全局管理组件和所述混洗处理节点分别独立封装于计算引擎之外；请求获取模块，被配置为执行通过所述全局管理组件从第一调度队列中获取任务的资源请求，所述第一调度队列用于存储所述任务的资源请求，所述资源请求是在所述计算引擎启动任务时发送至所述全局管理组件，并通过所述全局管理组件添加至所述第一调度队列中的；第一资源调度模块，被配置为执行通过所述全局管理组件处理所述资源请求，根据所述混洗处理节点的资源信息，确定用于处理所述任务的目标混洗处理节点。8.一