一种大数据分析建模处理方法、装置和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115759717A(43)申请公布日2023.03.07(21)申请号202211383611.X(22)申请日2022.11.07(71)申请人珠海高凌信息科技股份有限公司地址519060广东省珠海市南屏科技工业园屏东一路1号(72)发明人刘立峰王麟东石宪郝亚军母健康王文重张建军(74)专利代理机构广州嘉权专利商标事务所有限公司44205专利代理师尹长斌(51)Int.Cl.G06Q10/0633(2023.01)G06F30/27(2020.01)G06N20/00(2019.01)G06N5/04(2023.01)权利要求书2页说明书7页附图3页(54)发明名称一种大数据分析建模处理方法、装置和存储介质(57)摘要本申请公开了一种大数据分析建模处理方法、装置和存储介质，本申请的方法包括构建分析模型；编辑所述分析模型的输入、输出和特征处理流程；编辑所述分析模型的机器学习模型推理序列；运行所述分析模型的Spark任务，获得运行结果。本申请部署和生成任务时无需编程实现，可针对任务的处理流程和输入输出进行灵活组合，可组合多个模型进行并行或串行处理，实现了大数据的分布式、动态伸缩和跨平台的分析建模。CN115759717ACN115759717A权利要求书1/2页1.一种大数据分析建模处理方法，其特征在于，所述方法包括：构建分析模型；编辑所述分析模型的输入、输出和特征处理流程；编辑所述分析模型的机器学习模型推理序列；运行所述分析模型的Spark任务，获得运行结果。2.根据权利要求1所述的一种大数据分析建模处理方法，其特征在于，所述编辑所述分析模型的输入、输出和特征处理流程，包括：使用可编辑逻辑对所述特征处理流程进行设计、规划，所述特征处理流程包括若干个输入信息、输出信息、输入特征的处理以及输出数据标签映射和数据的流转逻辑。3.根据权利要求1所述的一种大数据分析建模处理方法，其特征在于，所述编辑所述分析模型的机器学习模型推理序列，包括：在所述分析模型的数据流转逻辑中加入机器学习模型推理序列，将所述机器学习模型推理序列作为数据流转逻辑的一部分，当需要多个模型组合时，则重复添加所述数据流转逻辑。4.根据权利要求1所述的一种大数据分析建模处理方法，其特征在于，所述运行所述分析模型的Spark任务，获得运行结果，包括：在所述Spark任务的Driver节点解析处理流程；将输入信息、输出信息、特征处理、标签映射和数据流转的逻辑转化为Spark的Task并且分发到每个Executor节点。5.根据权利要求4所述的一种大数据分析建模处理方法，其特征在于，在将输入信息、输出信息、特征处理、标签映射和数据流转的逻辑转化为Spark任务的Task并且分发到每个Executor节点后，所述Executor节点使用ONNXRuntime加载模型，执行Spark任务分发的Task，进行流程处理。6.根据权利要求1所述的一种大数据分析建模处理方法，其特征在于，在获得运行结果后，所述方法还包括：向所述分析模型的节点汇聚分析结果并保存输出。7.根据权利要求1所述的一种大数据分析建模处理方法，其特征在于，所述编辑所述分析模型的输入、输出和特征处理流程，编辑所述分析模型的机器学习模型推理序列，包括：通过可编辑技术编辑所述分析模型的输入、输出和特征处理流程；通过可编辑技术编辑所述分析模型的机器学习模型推理序列。8.一种大数据分析建模处理装置，其特征在于，所述装置包括：第一模块，用于构建分析模型；第二模块，用于编辑所述分析模型的输入、输出和特征处理流程；第三模块，用于编辑所述分析模型的机器学习模型推理序列；第四模块，用于运行所述分析模型的Spark任务，获得运行结果。9.一种大数据分析建模处理装置，其特征在于，所述装置包括：至少一个处理器；至少一个存储器，所述存储器用于存储至少一个程序；当至少一个所述程序被至少一个所述处理器执行时实现如权利要求1‑7中任一项所述2CN115759717A权利要求书2/2页的一种大数据分析建模处理方法。10.存储介质，其特征在于，所述存储介质存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时实现如权利要求1‑7中任一项所述的一种大数据分析建模处理方法。3CN115759717A说明书1/7页一种大数据分析建模处理方法、装置和存储介质技术领域[0001]本申请涉及大数据分析领域，尤其是一种大数据分析建模处理方法、装置和存储介质。背景技术[0002]当前的分析建模存在的问题包括：当前大数据分析建模通常基于固定模式的，需进行数据调研工作，开展数据准备工作，即选择数据源、进行数据抽样选择、数据类型选择、缺失值处理、异常值检测和处理、数据标准化、数据簇分类、变量选择等，再次