一种资源调度方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114518945A(43)申请公布日2022.05.20(21)申请号202111683501.0(22)申请日2021.12.31(71)申请人广州文远知行科技有限公司地址510000广东省广州市广州中新广州知识城九佛建设路333号自编687室(72)发明人黎伟杰彭绍东陈飞韩旭(74)专利代理机构广州三环专利商标代理有限公司44202专利代理师陈志明(51)Int.Cl.G06F9/48(2006.01)G06F9/50(2006.01)权利要求书3页说明书12页附图3页(54)发明名称一种资源调度方法、装置、设备及存储介质(57)摘要本发明涉及了一种资源调度方法、装置、设备及存储介质，该方法包括：S1：从资源请求队列中获取待调度的第一资源请求，并获取执行第一资源请求对应的第一任务所需的第一资源量；S2：获取用于执行资源请求队列中的任务的节点集合，并获取节点集合中各个节点的资源快照，S3：根据第一资源量和资源快照，确定可最早执行第一任务的第一节点；S4：将第一节点从节点集合中移除；按照S1‑S4的方法处理资源请求队列中的下一个资源请求，直到资源请求队列为空。在上述方法给当前优先级最高的第一任务保留了第一节点的资源量，并且可以将剩余的资源分配给其他资源请求，从而满足了不同优先级任务的资源请求，提高了整体的资源利用率和调度效率。CN114518945ACN114518945A权利要求书1/3页1.一种资源调度方法，其特征在于，所述方法包括：S1：从资源请求队列中获取待调度的第一资源请求，并获取执行所述第一资源请求对应的第一任务所需的第一资源量；所述第一任务为所述资源请求队列中当前优先级最高的任务；S2：获取用于执行所述资源请求队列中的任务的节点集合，并获取所述节点集合中各个节点的资源快照，所述资源快照包括所述节点的可用资源量和所述节点的当前任务的预估运行时间；S3：根据所述第一资源量和所述资源快照，确定可最早执行所述第一任务的第一节点；S4：将所述第一节点从所述节点集合中移除；S5：按照S1‑S4的方法处理所述资源请求队列中的下一个资源请求，直到所述资源请求队列为空。2.根据权利要求1所述的方法，其特征在于，步骤S3包括：S31：根据所述第一资源量、所述节点的可用资源量和所述节点的当前任务的预估运行时间，确定可在当前时刻执行所述第一任务的节点，得到第一候选节点集合；S32：若所述第一候选节点集合中包括多个第一候选节点，则按照预设评价参数确定所述多个第一候选节点的评分；S33：选取所述评分最高的节点作为第一节点；S34：若所述第一候选节点集合为空，则确定在所述当前时刻以后可最早执行所述第一任务的节点，并将所述节点作为第一节点。3.根据权利要求2所述的方法，其特征在于，所述预设评价参数包括所述第一候选节点的网络拓扑情况和资源健康情况，以及所述第一候选节点执行所述第一任务后的空闲资源情况。4.根据权利要求2所述的方法，其特征在于，步骤S34包括：S341：对所述节点包括的当前任务按照所述预估运行时间的升序进行排序，得到所述节点对应的目标任务队列；S342：从所述目标任务队列中的第一个任务开始，确定各个任务执行完成后释放的可用资源量；S343：计算所述释放的可用资源量和所述节点的可用资源量的和，得到各个任务执行完成后所述节点的总可用资源量；S344：根据所述各个任务执行完成后对应的可用资源量和所述第一资源量，确定所述节点可最早执行所述第一任务的目标时刻；S345：根据各个节点对应的所述目标时刻，确定可最早执行所述第一任务的节点，得到第一节点。5.根据权利要求1所述的方法，其特征在于，所述步骤S2中的当前任务的预估运行时间通过以下步骤S21‑步骤S22得到：S21、获取所述当前任务的特征信息；所述特征信息包括所述当前任务的任务类型、任务名称、所述任务的关联人、所述任务占用资源量、所述任务的执行命令；S22、将所述特征信息输入预先训练的目标预测模型，得到所述当前任务的预估运行时间。2CN114518945A权利要求书2/3页6.根据权利要求5所述的方法，其特征在于，所述步骤S22中的目标预测模型通过以下步骤S221‑步骤S223训练得到：S221、获取样本数据，所述样本数据包括执行完毕的历史任务的所述特征信息，以及所述历史任务的真实运行时间；S222、将所述历史任务的特征信息输入初始模型，得到所述初始模型输出的预测运行时间；S223、根据所述预测运行时间和所述真实运行时间之间的差值调整所述初始模型的参数，并继续训练所述初始模型，直到所述差值小于预设阈值时，结束所述训练，得到目标预测模型。7.根据权利要求6所述的方法，其特征在于，当所述步骤S221中的历史任务为深度学习任务时，