大数据作业调度控制方法、系统和可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114995986A(43)申请公布日2022.09.02(21)申请号202210924364.3(22)申请日2022.08.03(71)申请人杭州远眺科技有限公司地址310012浙江省杭州市余杭区仓前街道文一西路1326号1号楼7层701-1室(72)发明人夏莹杰陈天祥(74)专利代理机构宁波甬致专利代理有限公司33228专利代理师黄江(51)Int.Cl.G06F9/48(2006.01)G06F9/50(2006.01)G06F17/16(2006.01)G06N3/04(2006.01)权利要求书3页说明书14页附图2页(54)发明名称大数据作业调度控制方法、系统和可读存储介质(57)摘要本发明公开的一种大数据作业调度控制方法、系统和可读存储介质，其中方法包括：获取大数据作业数据，并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵，基于所述第一特征矩阵获取任务节点的特征向量；利用卷积神经网络获取目标函数，以基于所述目标函数对所述大数据作业数据进行处理，获取所述任务节点对应的第二特征矩阵；构建第三特征矩阵，以获取所述第三特征矩阵中某个任务节点对应的任务实例在任务执行器上的平均数据传输时间，基于所述平均数据传输时间完成作业调度控制。本发明使得同一节点部署在不同的执行器上运行的传输开销各不相同，扩充了各个节点的特征维度，更充分地考虑了数据本地性，进一步提升了后续调度操作的有效性。CN114995986ACN114995986A权利要求书1/3页1.一种大数据作业调度控制方法，其特征在于，包括以下步骤：获取大数据作业数据，并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵，基于所述第一特征矩阵获取任务节点的特征向量；利用预设卷积神经网络获取目标函数，以基于所述目标函数对所述大数据作业数据进行处理，并基于处理结果获取所述任务节点对应的第二特征矩阵；基于所述大数据作业数据的处理结果构建第三特征矩阵，以获取所述第三特征矩阵中某个任务节点对应的任务实例在任务执行器上的平均数据传输时间，基于所述平均数据传输时间完成作业调度控制。2.根据权利要求1所述的一种大数据作业调度控制方法，其特征在于，所述获取大数据作业数据，并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵，基于所述第一特征矩阵获取任务节点的特征向量，具体包括：对被调度的所述大数据作业数据中每一个作业构建对应的所述邻接矩阵，其中，所述邻接矩阵为有向图邻接矩阵；对被调度的所述大数据作业数据中每一个作业构建对应的所述第一特征矩阵，其中，所述第一特征矩阵中每个所述任务节点对应的所述特征向量包括：任务节点中每个任务实例的执行时间；任务节点的总任务实例数；任务节点的剩余任务实例数；任务节点的优先级；任务节点的每个任务实例对于CPU核数的要求以及任务节点的每个任务实例对于内存大小的要求。3.根据权利要求2所述的一种大数据作业调度控制方法，其特征在于，所述利用预设卷积神经网络获取目标函数，以基于所述目标函数对所述大数据作业数据进行处理，并基于处理结果获取所述任务节点对应的第二特征矩阵，具体包括：基于图卷积神经网络得到第一函数以及第二函数，其中，所述第一函数与所述第二函数均为非线性函数，且包括两个隐藏层；所述第一函数对应的隐藏层的神经元数量为十六个，所述第二函数对应的隐藏层的神经元数量为八个；利用所述第一函数以及所述第二函数对所述大数据作业数据进行处理，得到节点级别特征向量、作业级别特征向量以及全局级别特征向量，进而得到对应的所述第二特征矩阵。4.根据权利要求3所述的一种大数据作业调度控制方法，其特征在于，所述基于处理结果获取所述任务节点对应的第二特征矩阵，具体包括：基于所述处理结果得到不同所述任务节点对应的所述第二特征矩阵，其中，基于所述节点级别特征向量作为矩阵行向量得到对应的节点级别特征矩阵；基于所述作业级别特征向量作为矩阵行向量得到对应的作业级别特征矩阵；基于所述全局级别特征向量作为矩阵行向量得到对应的全局级别特征矩阵。5.根据权利要求4所述的一种大数据作业调度控制方法，其特征在于，所述节点级别特征向量表示当前节点与其邻接节点的特征信息；所述作业级别特征向量表示作业中所有任务节点之间的全局关系；所述全局级别特征向量表示待调度的作业集合中所有作业之间的全局关系。6.根据权利要求4所述的一种大数据作业调度控制方法，其特征在于，所述基于所述大数据作业数据的处理结果构建第三特征矩阵，以获取所述第三特征矩阵中某个任务节点对2CN114995986A权利要求书2/3页应的任务实例在任务执行器上的平均数据传输时间，基于所述平均数据传输时间完成作业调度控制，具体包括：基于所述节点级别特征向量识别所述任务节点，进而结合对应的所述任务执行器构