基于预训练模型的分布式文本模型训练方法、装置、终端设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113850322A(43)申请公布日2021.12.28(21)申请号202111122155.9(22)申请日2021.09.24(71)申请人北京大数医达科技有限公司地址100193北京市海淀区东北旺北京中关村软件园孵化器2号楼二层2201室(72)发明人林玥煜邓侃(74)专利代理机构北京唯智勤实知识产权代理事务所(普通合伙)11557代理人孙姣(51)Int.Cl.G06K9/62(2006.01)权利要求书2页说明书9页附图4页(54)发明名称基于预训练模型的分布式文本模型训练方法、装置、终端设备(57)摘要本公开的实施例公开了基于预训练模型的分布式文本模型训练方法、装置、终端设备。该方法的一具体实施方式包括：获取训练数据集；生成输入适配参数集和输入适配数据集；将输入适配数据集发送至第一终端；接收第一终端发回的输出适配数据集；基于输出适配数据集和训练数据集，生成输出适配参数集；将输入适配参数集和输出适配参数集的集合确定为初始目标模型；基于训练数据集和初始目标模型，生成目标模型，其中，目标模型包括目标输入适配参数集和目标输出适配参数集。该实施方式训练输入适配数据集和输出适配数据集以得到目标模型，训练结构简单、参数少，节省训练资源，提高了训练速度，提升了应用目标模型的后续任务的完成效率。CN113850322ACN113850322A权利要求书1/2页1.一种基于预训练模型的分布式文本模型训练方法，包括：获取训练数据集，其中，所述训练数据集中的训练数据包括训练源文本和对应于训练源文本的训练目标文本；基于所述训练数据集，生成输入适配参数集和输入适配数据集；将所述输入适配数据集发送至第一终端；接收所述第一终端发回的输出适配数据集，其中，所述第一终端基于所述输入适配数据集，利用预先确定的预训练模型生成所述输出适配数据集；基于所述输出适配数据集和所述训练数据集，生成输出适配参数集；将所述输入适配参数集和所述输出适配参数集的集合确定为初始目标模型；基于所述训练数据集和所述初始目标模型，生成目标模型，其中，所述目标模型包括目标输入适配参数集和目标输出适配参数集。2.根据权利要求1所述的方法，其中，所述预先确定的预训练模型包括第一数目层神经网络结构，所述预先确定的预训练模型为文本生成模型。3.根据权利要求2所述的方法，其中，所述方法还包括：响应于接收到用户输入的操作指令，获取任务文本；将所述任务文本输入所述目标模型，以得到任务结果文本；将所述任务结果文本发送至目标终端，以及控制所述目标终端显示所述任务结果文本。4.根据权利要求3所述的方法，其中，所述基于所述训练数据集和所述初始目标模型，生成目标模型，包括：从所述训练数据集中选取训练数据，以及执行以下训练步骤：将选取的训练数据的训练源文本输入至初始目标模型，得到所述选取的训练数据的目标文本；将所述选取的训练数据的目标文本与对应的训练目标文本进行比较；根据比较结果确定所述初始目标模型是否达到预设的优化目标；响应于确定所述初始目标模型达到所述优化目标，将所述初始目标模型确定为目标模型。5.根据权利要求4所述的方法，其中，所述方法还包括：响应于确定初始目标模型未训练完成，调整初始目标模型中的相关参数，以及从所述训练数据集中重新选取训练数据，使用调整后的初始目标模型作为初始目标模型，再次执行所述训练步骤。6.根据权利要求5所述的方法，其中，所述方法还包括：响应于接收到用户输入的重新训练指令，获取备选训练数据集；基于所述备选训练数据集，生成备选输入适配参数集和备选输入适配数据集；将所述备选输入适配数据集发送至所述第一终端；接收所述第一终端发回的备选输出适配数据集，其中，所述第一终端基于所述备选输入适配数据集，利用预先确定的预训练模型生成所述备选输出适配数据集；基于所述备选输出适配数据集和所述备选训练数据集，生成备选输出适配参数集；将所述备选输入适配参数集和所述备选输出适配参数集的集合确定为初始备选目标2CN113850322A权利要求书2/2页模型；基于所述备选训练数据集和所述初始备选目标模型，生成备选目标模型，其中，所述备选目标模型包括备选目标输入适配参数集和备选目标输出适配参数集。7.根据权利要求6所述的方法，其中，所述第一终端基于所述输入适配数据集，利用预先确定的预训练模型生成所述输出适配数据集，包括：将所述输入适配数据集输入预先确定的预训练模型，生成模型输出数据集，其中，所述模型输出数据集包括预训练模型从倒数第二数目层至最后一层的第二数目个层的输出数据集；将所述模型输出数据集确定为所述输出适配数据集。8.根据权利要求7所述的方法，其中，所述基于所述训练数据集，生成输入适配参数集和输入适配数据集，包括：根据预先确