分布式的模型训练方法、系统、设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114139605A(43)申请公布日2022.03.04(21)申请号202111301761.7(22)申请日2021.11.04(71)申请人乐视新生代（北京）文化传媒有限公司地址100025北京市朝阳区姚家园路105号3号楼12层1502(72)发明人胡建猛(74)专利代理机构北京华专卓海知识产权代理事务所(普通合伙)11664代理人王一(51)Int.Cl.G06K9/62(2022.01)权利要求书2页说明书7页附图1页(54)发明名称分布式的模型训练方法、系统、设备以及存储介质(57)摘要本公开的实施例提供了分布式的模型训练方法、系统、设备以及存储介质。该方法应用于包括多个节点服务器的集群服务器，该方法包括接收用户输入的待训练模型以及训练样本；集群服务器中的每个节点服务器，根据训练样本，对待训练模型进行训练，其中，训练样本包括样本数据以及样本数据对应的标识；当训练得到的模型对训练样本中的样本数据进行计算得到的标识，与样本数据对应的标识的差值小于预设阈值时，将训练得到的模型作为目标模型。以此方式，可以提高模型训练的效率。CN114139605ACN114139605A权利要求书1/2页1.一种分布式的模型训练方法，其特征在于，应用于包括多个节点服务器的集群服务器，所述方法包括：接收用户输入的待训练模型以及训练样本；集群服务器中的每个节点服务器，根据所述训练样本，对所述待训练模型进行训练，其中，所述训练样本包括样本数据以及样本数据对应的标识；当训练得到的模型对所述训练样本中的样本数据进行计算得到的标识，与所述样本数据对应的标识的差值小于预设阈值时，将训练得到的模型作为目标模型。2.根据权利要求1所述的方法，其特征在于，所述集群服务器中的每个节点服务器，根据所述训练样本，对所述待训练模型进行训练，包括：所述集群服务器中的每个节点服务器并行运行，基于所述待训练模型，对所述训练样本中的样本数据进行计算，得到标识；根据所述标识与所述样本数据对应的标识之间的差值，调整所述待训练模型中的参数。3.根据权利要求1或2所述的方法，其特征在于，所述当训练得到的模型对所述训练样本中的样本数据进行计算得到的标识，与所述样本数据对应的标识的差值小于预设阈值时，将训练得到的模型作为目标模型，包括：当训练得到的模型对所述训练样本中的样本数据进行计算得到的标识，与所述样本数据对应的标识的差值小于预设阈值时，生成训练停止命令，以用于所述集群服务器中的每个节点服务器基于所述训练停止命令停止训练；将训练得到的模型作为目标模型。4.根据权利要求3所述的方法，其特征在于，在训练得到目标模型后，所述方法还包括：训练得到所述目标模型的节点服务器，将所述目标模型发送给所述集群服务器中的其他节点服务器，以用于其他节点服务器基于所述目标模型进行对应计算。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据每个节点服务器中目标模型对应的差值，选取差值最小的目标模型作为最优模型。6.根据权利要求1所述的方法，其特征在于，在接收用户输入的待训练模型之前，所述方法还包括：当所述集群服务器中存在除所述待训练模型之外的其他模型时，删除所述其他模型。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收用户输入的新的训练样本；根据预设周期，基于所述新的训练样本，对所述目标模型中的参数进行调整。8.一种分布式的模型训练系统，其特征在于，所述模型训练系统包括多个节点服务器；其中，至少一个节点服务器，用于接收用户输入的待训练模型以及训练样本；每个节点服务器，用于根据所述训练样本，对所述待训练模型进行训练，其中，所述训练样本包括样本数据以及样本数据对应的标识；当训练得到的模型对所述训练样本中的样本数据进行计算得到的标识，与所述样本数据对应的标识的差值小于预设阈值时，将训练得到的模型作为目标模型。2CN114139605A权利要求书2/2页9.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1‑7中任一项所述的方法。10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1‑7中任一项所述的方法。3CN114139605A说明书1/7页分布式的模型训练方法、系统、设备以及存储介质技术领域[0001]本公开涉及模型训练领域，尤其涉及分布式的模型训练领域。背景技术[0002]目前，在同一个系统下，各个节点所持有的模型不同，因此各个节点的模型训练结果不同，这将会导致系统下数据整体不稳定，进而浪费计