模型训练配置数据生成方法、系统、终端及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113885760A(43)申请公布日2022.01.04(21)申请号202111155483.9G06F40/284(2020.01)(22)申请日2021.09.29G06N20/00(2019.01)(71)申请人济南浪潮数据技术有限公司地址250000山东省济南市中国（山东）自由贸易试验区济南片区浪潮路1036号浪潮科技园S05楼S311室(72)发明人崔守佳朱道昌(74)专利代理机构济南舜源专利事务所有限公司37205代理人孙玉营(51)Int.Cl.G06F3/0482(2013.01)G06F3/0484(2013.01)G06F40/186(2020.01)G06F40/216(2020.01)权利要求书2页说明书9页附图2页(54)发明名称模型训练配置数据生成方法、系统、终端及存储介质(57)摘要本发明提供一种模型训练配置数据生成方法、系统、终端及存储介质，包括：构造节点库，在所述节点库中存储多种训练节点配置文件；利用可视化技术将多种训练节点配置文件转换为可视配置项，并以树形菜单的形式显示所述可视配置项的文件内容；根据用户输入的选择指令，将用户选中的可视配置项作为目标配置项，根据用户指令生成目标配置项之间的关联关系；根据设定的校验规则对目标配置项之间的关联关系进行校验，并在校验通过后将目标配置项按照关联关系汇总生成训练配置模型，为训练配置模型生成模型ID并持久化至数据库。本发明简化了ML训练模型各节点表单的配置信息，降低了在配置大表单过程中出现人为事故的风险。CN113885760ACN113885760A权利要求书1/2页1.一种模型训练配置数据生成方法，其特征在于，包括：构造节点库，在所述节点库中存储多种训练节点配置文件；利用可视化技术将多种训练节点配置文件转换为可视配置项，并以树形菜单的形式显示所述可视配置项的文件内容；根据用户输入的选择指令，将用户选中的可视配置项作为目标配置项，根据用户指令生成目标配置项之间的关联关系；根据设定的校验规则对目标配置项之间的关联关系进行校验，并在校验通过后将目标配置项按照关联关系汇总生成训练配置模型，为训练配置模型生成模型ID并持久化至数据库。2.根据权利要求1所述的方法，其特征在于，构造节点库，在所述节点库中存储多种训练节点配置文件，包括：在节点库中存储数据源类节点文件、特殊工程类节点文件、回归分析类节点文件，所述数据源类节点文件包括逗号分隔值文件、关系型数据库；所述特殊工程类节点文件包括词频、计数向量器和分词器；回归分析类节点文件包括随机森林和线性回归；节点配置文件包括配置信息和配置类型，所述配置信息和配置类型均为轻量级数据交换格式。3.根据权利要求1所述的方法，其特征在于，根据用户输入的选择指令，将用户选中的可视配置项作为目标配置项，根据用户指令生成目标配置项之间的关联关系，包括：利用可视化技术生成配置界面，在所述配置界面中设置选中区域；利用鼠标拖拽可视配置项，监控可视配置项的位置坐标，将位置坐标在所述选中区域内的可视配置项作为目标配置项；根据目标配置项在选中区域内的位置坐标生成目标配置项的ID；解析用户添加的各目标配置项之间的箭头连接线，将所述箭头连接线的箭头方向等效于数据传输方向，生成各目标配置项之间的关联关系；将目标配置项的文件内容导入对应的具备初始化信息的表单模板中，并将目标配置项的ID写入对应表单模板的名字。4.根据权利要求3所述的方法，其特征在于，根据设定的校验规则对目标配置项之间的关联关系进行校验，包括：校验各目标配置项之间的数据传输关系与各目标配置项的数据传输权限是否匹配。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：将上传的子模型解析为多个训练节点配置文件并解析出各训练节点配置文件的关联关系；对子模型的多个训练节点配置文件及各训练节点配置文件的关联关系进行合法性校验，将通过合法性校验的子模型保存至子模型库；根据用户需求从子模型库调取目标子模型，并将目标子模型嵌套至当前训练配置模型。6.根据权利要求5所述的方法，其特征在于，根据用户需求从子模型库调取目标子模型，并将目标子模型嵌套至当前训练配置模型，包括：根据当前训练配置模型的所有训练节点配置文件的上下级关系；2CN113885760A权利要求书2/2页自上而下逐层根据子模型id获取其已保存的JSON格式的训练节点配置文件，并且将子模型的训练节点配置文件自下而上逐层合并入当前训练配置模型的数据中。7.一种模型训练配置数据生成系统，其特征在于，包括：数据准备单元，用于构造节点库，在所述节点库中存储多种训练节点配置文件；可视转换单元，用于利用可视化技术将多种训练节点配置文件转换为可视配置项，并以树形菜单的形式显示