一种任务监控方法、装置、服务器和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115587008A(43)申请公布日2023.01.10(21)申请号202211185865.0(22)申请日2022.09.27(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人袁征王巧慧刘建家黄勇涛(74)专利代理机构北京品源专利代理有限公司11332专利代理师赵翠香(51)Int.Cl.G06F11/30(2006.01)G06F9/48(2006.01)权利要求书2页说明书15页附图7页(54)发明名称一种任务监控方法、装置、服务器和存储介质(57)摘要本发明公开一种任务监控方法、装置、服务器和存储介质，该方法包括：根据目标任务的数据量增长率，确定目标任务的预测耗时；确定与目标任务运行于相同服务器的各数据处理任务的配置信息，并根据各数据处理任务的配置信息确定目标任务的预测开始时间；根据目标任务的预测开始时间和预测耗时确定目标任务的预测结束时间；比较目标任务的预测结束时间和期望完成时间，根据比较结果确定目标任务的完成情况。上述技术方案，确定目标任务更精确的预测耗时和预测开始时间以确定更精确的预测结束时间，根据预测结束时间和期望结束时间确定目标任务的完成情况，在目标任务执行前对目标任务完成情况进行预测，实现对目标任务的监控。CN115587008ACN115587008A权利要求书1/2页1.一种任务监控方法，其特征在于，包括：根据目标任务的数据量增长率，确定所述目标任务的预测耗时；确定与所述目标任务运行于相同服务器的各数据处理任务的配置信息，并根据各所述数据处理任务的配置信息确定所述目标任务的预测开始时间；根据所述目标任务的预测开始时间和预测耗时确定所述目标任务的预测结束时间；比较所述目标任务的预测结束时间和期望完成时间，根据比较结果确定所述目标任务的完成情况。2.根据权利要求1所述的任务监控方法，其特征在于，在根据目标任务的数据量增长率，确定所述目标任务的预测耗时之前，还包括：通过所述目标任务的历史执行记录，确定所述目标任务的历史耗时和历史数据量；根据所述目标任务的当前数据量和历史数据量确定所述目标任务的数据量增长率。3.根据权利要求2所述的任务监控方法，其特征在于，根据目标任务的数据量增长率，确定所述目标任务的预测耗时，包括：根据所述目标任务的数据量增长率、历史耗时和预设权重确定所述目标任务的耗时增加量；根据所述目标任务的历史耗时和耗时增加量确定所述目标任务的预测耗时。4.根据权利要求3所述的任务监控方法，其特征在于，所述预设权重包括聚合函数权重和集群资源倾斜权重，相应地，根据所述目标任务的数据量增长率、历史耗时和预设权重确定所述目标任务的耗时增加量，包括：将所述聚合函数权重与所述目标任务的数据量增长率以及历史耗时的乘积确定为第一数值；根据所述第一数值和所述集群资源倾斜权重确定所述目标任务的耗时增加量。5.根据权利要求1所述的任务监控方法，其特征在于，根据各所述数据处理任务的配置信息确定所述目标任务的预测开始时间，包括：根据各所述数据处理任务的配置信息中的上下游关系确定各所述数据处理任务的执行顺序；根据各所述数据处理任务的执行顺序，以及各所述数据处理任务的配置信息中的计划开始时间、节点资源使用量和队列资源使用量，在集群资源的各队列资源内对各所述数据处理任务进行排队，以确定所述目标任务的排队开始时间；根据所述目标任务所对应上一数据处理任务的结束时间以及所述目标任务的计划开始时间和排队开始时间，确定所述目标任务的预测开始时间。6.根据权利要求5所述的任务监控方法，其特征在于，根据所述目标任务所对应上一数据处理任务的结束时间以及所述目标任务的计划开始时间和排队开始时间，确定所述目标任务的预测开始时间，包括：按照时间顺序对所述目标任务所对应上一数据处理任务的结束时间、所述目标任务的计划开始时间和所述目标任务的排队开始时间进行排序；根据排序结果确定所述目标任务的预测开始时间。7.根据权利要求6所述的任务监控方法，其特征在于，比较所述目标任务的预测结束时间和期望完成时间，根据比较结果确定所述目标任务的完成情况，包括：2CN115587008A权利要求书2/2页如果所述目标任务的预测结束时间不晚于期望完成时间，则确定所述目标任务完成正常；如果所述目标任务的预测结束时间晚于期望完成时间，则确定所述目标任务完成异常。8.根据权利要求7所述的任务监控方法，其特征在于，在确定所述目标任务完成异常之后，还包括：根据各所述数据处理任务的队列资源使用量，确定空闲队列资源；根据所述空闲队列资源和总队列资源确定资源倾斜系数，根据所述资源倾斜系数更新所述目标任务的预