一种基于大数据预测的并行执行方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114547096A(43)申请公布日2022.05.27(21)申请号202210173528.3(22)申请日2022.02.24(71)申请人苏州亿博尔大数据科技有限公司地址215000江苏省苏州市高新区竹园路209号4号楼17层1709-26工位(72)发明人梁倩吴迪王现思(74)专利代理机构北京天盾知识产权代理有限公司11421专利代理师丁敬博(51)Int.Cl.G06F16/2453(2019.01)G06Q10/04(2012.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图1页(54)发明名称一种基于大数据预测的并行执行方法和系统(57)摘要本发明涉及一种基于大数据预测的并行执行方法和系统，所述方法包括:获取不同区分维度对应的每个数据集合的预测结果；基于不同区分维度对应的数据集合之间的关系调整预测数据集合中的预测结果，以得到目标预测结果；确定预测结果正确率和目标预测结果之间的关系模型；根据关系模型确定是否进行基于预测的并行执行，如果是，则创建任务以并行执行。本发明基于任务数据分析，将预测机制引入基于大数据的并行执行过程中，提高了任务执行的并行率，大大的提高了数据使用效率。CN114547096ACN114547096A权利要求书1/2页1.一种基于大数据预测的并行执行方法，其特征在于，所述方法包含：步骤S1：读取任务数据及其可区分维度；判断是否所有可区分维度均已处理完毕，如果是，则进入步骤S4，否则，获取一待处理可区分维度并进入步骤S2；步骤S2：基于所获取的待处理可区分维度作任务数据的区分，将任务数据分为多个数据集合；每个数据集合对应该维度下的一个数据类型；步骤S3：获取不同区分维度对应的每个数据集合的预测结果；步骤S4：基于不同区分维度对应的数据集合之间的关系调整预测数据集合中预测结果，以得到目标预测结果；步骤S5：确定预测结果正确率和目标预测结果之间的关系模型；步骤S6：根据关系模型确定是否进行基于预测的并行执行，如果是，则创建任务以并行执行。2.根据权利要求1所述的基于大数据预测的并行执行系统，其特征在于，所述并行执行的任务为具有执行重复性的任务，先后任务之间存在数据依赖关系。3.根据权利要求2所述的基于大数据预测的并行执行系统，其特征在于，所述步骤S2中针对每一个区分维度均作所有任务数据的区分。4.根据权利要求3所述的基于大数据预测的并行执行系统，其特征在于，每个任务对应多个可区分维度，将任务极其对应的可区分维度关联的存储在可读存储空间中。5.根据权利要求4所述的基于大数据预测的并行执行系统，其特征在于，所述获取每个数据集合的预测结果，具体为：对数据集合中的数据作拟合以得到拟合曲线，将所述拟合曲线作为预测函数，基于预测函数确定预测结果。6.根据权利要求5所述的基于大数据预测的并行执行方法，其特征在于，所述根据关系模型确定是否进行基于预测的并行执行，具体为：当关系模型的输出结果表明预测的正确率符合预期时，确定进行基于预测的并行执行，反之亦然。7.一种基于大数据预测的并行执行系统，其特征在于，包括：读取模块：用于读取任务数据及其可区分维度；判断是否所有可区分维度均已处理完毕，如果是，则调用目标预测模块以获取目标预测结果你，否则，获取一待处理可区分维度并调用区分模块；区分模块，用于基于所获取的待处理可区分维度作任务数据的区分，将任务数据分为多个数据集合；每个数据集合对应该维度下的一个数据类型；预测模块，用于获取不同区分维度对应的每个数据集合的预测结果；目标预测模块：用于基于不同区分维度对应的数据集合之间的关系调整预测数据集合中预测结果，以得到目标预测结果；关系模型确定模块，用于确定预测结果正确率和目标预测结果之间的关系模型；并行执行模块，用于根据关系模型确定是否进行基于预测的并行执行，如果是，则创建任务以并行执行。8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1‑6中任一项所述的基于大数据预测的并行执行方法。9.一种执行设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1‑6中任2CN114547096A权利要求书2/2页一项所述的基于大数据预测的并行执行方法。10.一种计算机可读存储介质，其特征在于，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1‑6中任一项所述的基于大数据预测的并行执行方法。3CN114547096A说明书1/8页一种基于大数据预测的并行执行方法和系统【技术领域】[0001]本发明属于大数据领域，尤其涉