基于预训练模型的模型改进方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112308205A(43)申请公布日2021.02.02(21)申请号202010597363.3(22)申请日2020.06.28(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人金均生齐浩李健熊汉韬董志平(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06N20/00(2019.01)权利要求书2页说明书9页附图4页(54)发明名称基于预训练模型的模型改进方法及装置(57)摘要本申请公开了一种基于预训练模型的模型改进方法及装置。方法的一具体实施方式包括：获取相匹配的主体模型、至少一个拆分模型的拆分配置信息，其中，主体模型、至少一个拆分模型基于预训练模型拆分得到，被分布式部署于不同的预设设备，拆分配置信息表征主体模型和至少一个拆分模型的属性信息；根据拆分配置信息，建立主体模型与至少一个拆分模型之间的联系，以供主体模型在运行过程中与至少一个拆分模型进行数据交互。本实施方式可以将原有的大规模的预训练模型拆分为较小规模的主体模型和至少一个拆分模型，降低主体模型和至少一个拆分模型对设备的部署要求，提高了大规模的预训练模型的实用性。CN112308205ACN112308205A权利要求书1/2页1.一种基于预训练模型的模型改进方法，包括：获取相匹配的主体模型、至少一个拆分模型的拆分配置信息，其中，所述主体模型、所述至少一个拆分模型基于预训练模型拆分得到，被分布式部署于不同的预设设备，所述拆分配置信息表征所述主体模型和所述至少一个拆分模型的属性信息；根据所述拆分配置信息，建立所述主体模型与所述至少一个拆分模型之间的联系，以供所述主体模型在运行过程中与所述至少一个拆分模型进行数据交互。2.根据权利要求1所述的方法，其中，所述主体模型和/或所述至少一个拆分模型中的每个拆分模型，被集群部署于预设设备集群中。3.根据权利要求2所述的方法，其中，所述方法还包括：在所述至少一个拆分模型中的每个拆分模型的运行过程中，基于该拆分模型在预设设备集群中的各个预设设备中的负载数据，确定对应于该拆分模型的目标预设设备，并将该目标预设设备中的拆分模型确定为部署于预设设备集群中的该拆分模型的目标拆分模型。4.根据权利要求1所述的方法，其中，所述至少一个拆分模型为基于模型计算要求和/或模型存储要求进行拆分得到的拆分模型。5.根据权利要求1所述的方法，其中，根据所述拆分配置信息，建立所述主体模型与所述至少一个拆分模型之间的联系，包括：针对于所述至少一个拆分模型中的每个拆分模型，执行如下操作：根据所述拆分配置信息，获取该拆分模型对应的网络地址和连接端口；通过所述网络地址和所述连接端口，建立所述主体模型与该拆分模型之间的联系。6.根据权利要求3所述的方法，其中，所述根据所述拆分配置信息，建立所述主体模型与所述至少一个拆分模型之间的联系，包括：针对于所述至少一个拆分模型中的每个拆分模型，执行如下操作：根据所述拆分配置信息，获取该拆分模型中部署于目标预设设备的目标拆分模型的网络地址和连接端口；通过所述网络地址和所述连接端口，建立所述主体模型与该目标拆分模型中的目标拆分模型之间的联系。7.根据权利要求1-6任一所述的方法，其中，所述方法还包括：将输入数据输入所述主体模型，基于所述主体模型与所述至少一个拆分模型的配合运行，得到所述输入数据对应的输出数据。8.一种基于预训练模型的模型改进装置，包括：获取单元，被配置成获取相匹配的主体模型、至少一个拆分模型的拆分配置信息，其中，所述主体模型、所述至少一个拆分模型基于预训练模型拆分得到，被分布式部署于不同的预设设备，所述拆分配置信息表征所述主体模型和所述至少一个拆分模型的属性信息；联系单元，被配置成根据所述拆分配置信息，建立所述主体模型与所述至少一个拆分模型之间的联系，以供所述主体模型在运行过程中与所述至少一个拆分模型进行数据交互。9.根据权利要求8所述的装置，其中，所述主体模型和/或所述至少一个拆分模型中的每个拆分模型，被集群部署于预设设备集群中。10.根据权利要求9所述的装置，其中，所述装置还包括：2CN112308205A权利要求书2/2页确定单元，被配置成在所述至少一个拆分模型中的每个拆分模型的运行过程中，基于该拆分模型在预设设备集群中的各个预设设备中的负载数据，确定对应于该拆分模型的目标预设设备，并将该目标预设设备中的拆分模型确定为部署于预设设备集群中的该拆分模型的目标拆分模型。11.根据权利要求8所述的装置，其中，所述至少一个拆分模型