预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共15页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112799782A(43)申请公布日2021.05.14(21)申请号202110077788.6(22)申请日2021.01.20(71)申请人北京迈格威科技有限公司地址100086北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人唐亮刘克(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人王婷婷(51)Int.Cl.G06F9/455(2006.01)G06F9/50(2006.01)G06F16/2458(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图2页(54)发明名称模型生成系统、方法、电子设备及存储介质(57)摘要本申请提供了一种模型生成系统、方法、电子设备及存储介质。旨在优化模型生成的流程,系统包括分布式集群,分布式集群包括:头节点、服务节点以及多个工作节点;头节点,用于根据预先配置的预设模型、训练数据集以及测试数据集,创建模型生成任务,并将模型生成任务下发给多个工作节点;多个工作节点,分别用于根据模型生成任务,从训练数据集中提取目标训练数据集训练预设模型,并从测试数据集中提取目标测试数据集对训练得到的模型进行测试,得到模型性能参数值;服务节点,用于为头节点以及多个工作节点提供共享目录,共享目录包括多个工作节点各自得到的模型性能参数值;所述系统根据所述多个工作节点各自得到的模型性能参数值,确定目标模型。CN112799782ACN112799782A权利要求书1/2页1.一种模型生成系统,其特征在于,所述系统包括分布式集群,所述分布式集群包括:头节点、服务节点以及多个工作节点;所述头节点,用于根据预先配置的预设模型、训练数据集以及测试数据集,创建模型生成任务,并将所述模型生成任务下发给所述多个工作节点;所述多个工作节点,分别用于根据所述模型生成任务,从所述训练数据集中提取目标训练数据集训练所述预设模型,并从所述测试数据集中提取目标测试数据集对训练得到的模型进行测试,得到模型性能参数值;所述服务节点,用于为所述头节点以及多个工作节点提供共享目录,所述共享目录包括所述多个工作节点各自得到的模型性能参数值;其中,所述系统根据所述多个工作节点各自得到的模型性能参数值,确定目标模型。2.根据权利要求1所述的系统,其特征在于,所述头节点,还用于比较所述多个工作节点各自得到的模型性能参数值,将所述多个工作节点中一个工作节点训练得到的模型确定为所述目标模型。3.根据权利要求1或2所述的系统,其特征在于,所述共享目录还包括所述多个工作节点分别在对所述预设模型进行训练的过程中,所述预设模型的模型参数;所述多个工作节点,分别用于根据所述模型生成任务,从所述训练数据集中提取目标训练数据集训练所述预设模型,直至达到预设的训练结束条件或所述预设模型收敛后,从所述测试数据集中提取目标测试数据集对训练得到的模型进行测试,得到模型性能参数值。4.根据权利要求1‑3任一项所述的系统,其特征在于,所述系统还包括:与所述分布式集群通信连接的对象存储服务OSS模块,用于存储所述预设模型并将所述预设模型下发给所述多个工作节点,以及用于存储所述头节点确定出的所述目标模型。5.根据权利要求1‑3任一项所述的系统,其特征在于,所述系统运行在Kubernetes平台上,所述系统还包括自动学习服务器、自动学习控制器;所述头节点内部署有自动学习接口;所述自动学习服务器用于接收用户终端发送的模型生成请求,并利用所述Kubernetes平台的客户资源自定义机制,输出模型生成任务指示,并发送给所述自动学习控制器;所述自动学习控制器用于创建所述分布式集群,并向所述头节点内部署的所述自动学习接口下发所述模型生成任务指示;所述头节点,用于在接收到所述模型任务生成指示时,根据预先配置的预设模型、训练数据集以及测试数据集,创建模型生成任务。6.根据权利要求5所述的系统,其特征在于,所述模型生成请求包括:所述训练数据集和所述测试数据集;所述系统还包括Mongo数据库,所述Mongo用于存储所述训练数据集和所述测试数据集。7.一种模型生成方法,其特征在于,所述方法包括:根据预先配置的预设模型、训练数据集以及测试数据集,创建模型生成任务,并将所述模型生成任务下发给多个工作节点;获得所述多个工作节点各自从所述训练数据集中提取目标训练数据集训练所述预设模型,并从所述测试数据集中提取目标测试数据集对训练得到的模型进行测试后得到的模2CN112799782A权利要求书2/2页型性能参数值;根据所述多个工作节点各自得到的模型性能参数值,确定目标模型。8.根据权利要求7所述的方法,其特征在于,所述方法还包括:获得应用数据集