模型联合训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112925558A(43)申请公布日2021.06.08(21)申请号202110362275.X(22)申请日2019.12.09(62)分案原申请数据201911250425.72019.12.09(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人陈星宇王磊谭晋黄群山(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人张明周良玉(51)Int.Cl.G06F8/71(2018.01)权利要求书4页说明书14页附图6页(54)发明名称模型联合训练方法及装置(57)摘要本说明书实施例提供一种模型联合训练方法及装置，在训练方法中，接收模型训练任务的配置指令。该配置指令指示多个数据提供方中参与本次联合训练的各目标提供方以及本次联合训练所使用的目标模型。查询版本信息表，以确定各目标提供方各自部署的执行引擎的引擎版本信息。基于各目标提供方各自部署的执行引擎的引擎版本信息，判断目标模型是否为各目标提供方各自部署的执行引擎共同支持的公共模型，并在目标模型是公共模型的情况下，确定目标模型的公共版本。向各目标提供方发送联合训练请求，该联合训练请求指示各目标提供方通过各自部署的执行引擎加载公共版本的目标模型并训练。由此，可实现各数据提供方数据的隐私保护。CN112925558ACN112925558A权利要求书1/4页1.一种模型联合训练方法，所述方法应用于协作方，所述协作方用于控制多个数据提供方；所述多个数据提供方中各数据提供方部署有模型训练的执行引擎；所述协作方维护有版本信息表，所述版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息，所述引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型；所述方法包括：接收模型训练任务的配置指令；所述配置指令至少指示所述多个数据提供方中参与本次联合训练的各目标提供方以及本次联合训练所使用的目标模型；查询所述版本信息表，以确定所述各目标提供方各自部署的执行引擎的引擎版本信息；基于所述各目标提供方各自部署的执行引擎的引擎版本信息，判断所述目标模型是否为所述各目标提供方各自部署的执行引擎共同支持的公共模型；在所述目标模型是公共模型的情况下，向所述各目标提供方发送联合训练请求；所述联合训练请求用于指示所述各目标提供方通过各自部署的执行引擎加载所述目标模型并训练。2.根据权利要求1所述的方法，所述引擎版本信息包括对应版本的执行引擎所支持的至少一种模型。3.根据权利要求2所述的方法，所述基于所述各目标提供方各自部署的执行引擎的引擎版本信息，判断所述目标模型是否为所述各目标提供方各自部署的执行引擎共同支持的公共模型，包括：对于所述各目标提供方中任意的第一提供方，从该第一提供方部署的执行引擎的引擎版本信息中确定出对应的至少一种模型；若所述目标模型与确定出的至少一种模型中各模型均不匹配，则确定所述目标模型不是公共模型；否则，确定所述目标模型是公共模型。4.根据权利要求1所述的方法，还包括：若所述目标模型不是公共模型，则从所述多个数据提供方中确定出对应执行引擎不支持所述目标模型的第一提供方，向所述第一提供方发送升级指令；所述升级指令包括目标版本信息；所述升级指令用于指示所述第一提供方将部署的执行引擎升级到所述目标版本信息对应的版本；其中，对应于所述目标版本信息的执行引擎支持所述目标模型；接收所述第一提供方发送的信息更新请求；所述信息更新请求至少包括所述目标版本信息；将所述版本信息表中的所述第一提供方部署的执行引擎的引擎版本信息更新为所述目标版本信息。5.根据权利要求1‑4任一项所述的方法，所述目标模型包括以下任一种：逻辑回归LR模型、梯度提升决策树GBDT模型以及深度神经网络DNN模型。6.一种模型联合训练方法，所述方法应用于第一数据提供方，所述第一数据提供方为协作方控制的多个数据提供方中的任一数据提供方；所述第一数据提供方部署有模型训练的第一执行引擎；所述协作方维护有版本信息表，所述版本信息表用于记录各数据提供方各自部署的执行引擎的引擎版本信息，所述引擎版本信息用于指示出，对应版本的执行引擎所支持的至少一种模型；所述方法包括：2CN112925558A权利要求书2/4页接收所述协作方发送的联合训练请求；所述联合训练请求至少指示目标模型；所述目标模型为所述各目标提供方各自部署的执行引擎共同支持的公共模型；所述目标模型是由所述协作方基于所述版本信息表中记录的各数据提供方各自部署的执行引擎的引擎版本信息确定；通过所述第一执行引擎加载所述目标模型，并与其他数据提供方联合训练所述目标模型。7.根据权利要求6所述的方法，所述版本信息表中记