业务模型训练方法、装置及业务模型训练系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111368983A(43)申请公布日2020.07.03(21)申请号202010462340.1(22)申请日2020.05.27(66)本国优先权数据202010411923.12020.05.15CN(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人王力周俊(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人林锦辉刘景峰(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06N20/00(2019.01)权利要求书3页说明书13页附图6页(54)发明名称业务模型训练方法、装置及业务模型训练系统(57)摘要本说明书的实施例提供业务模型训练方法及装置。业务模型包括至少一个非线性模型结构。模型训练系统包括第一成员设备和第二成员设备，第一成员设备具有标签值，各个成员设备的子模型共同组成业务模型。在模型训练时，迭代执行循环过程。在每次循环时，各个成员设备使用训练样本数据以及各自的当前子模型得到当前业务模型的当前预测值，其中，与至少一个非线性模型结构对应的模型计算采用线性近似处理方式实现。在不满足循环结束条件时，根据当前预测差值，调整各个成员设备的当前子模型，调整后的各个成员设备的当前子模型用作下一循环过程的当前子模型。CN111368983ACN111368983A权利要求书1/3页1.一种用于经由模型训练系统训练业务模型的方法，所述业务模型包括至少一个非线性模型结构，所述模型训练系统包括第一成员设备和至少一个第二成员设备，所述第一成员设备具有标签值，各个成员设备分别维护所述业务模型的一个子模型，各个子模型共同组成所述业务模型，所述方法包括：执行下述循环过程，直到满足循环结束条件：所述第一成员设备和各个第二成员设备使用训练样本数据以及各自的当前子模型得到当前业务模型的当前预测值，其中，与所述至少一个非线性模型结构对应的模型计算采用线性近似处理方式实现；在所述第一成员设备处，根据所述当前预测值和对应的标签值，确定当前预测差值；以及在不满足所述循环结束条件时，根据所述当前预测差值调整所述第一成员设备和各个第二成员设备的当前子模型，调整后的各个成员设备的当前子模型用作下一循环过程的当前子模型。2.如权利要求1所述的方法，其中，各个非线性模型结构所对应的模型计算所采用的线性近似处理方式是与该非线性模型结构对应的分段线性近似处理方式。3.如权利要求2所述的方法，其中，所述分段线性近似处理方式基于所述非线性模型结构的函数表征形式、模型训练精度要求和/或模型训练效率要求确定。4.如权利要求1所述的方法，其中，所述业务模型包括至少一个线性模型结构，与所述至少一个线性模型结构对应的模型计算经由各个成员设备使用多方安全计算实现。5.如权利要求4所述的方法，其中，所述多方安全计算包括秘密共享、混淆电路和同态加密中的一种。6.如权利要求1所述的方法，其中，所述循环结束条件包括：达到预定循环次数；或者当前预测差值在预定差值范围内。7.如权利要求1到6中任一所述的方法，其中，所述业务模型是神经网络模型。8.一种用于经由模型训练系统训练业务模型的方法，所述业务模型包括至少一个非线性模型结构，所述模型训练系统包括第一成员设备和至少一个第二成员设备，所述第一成员设备具有标签值，各个成员设备分别维护所述业务模型的一个子模型，各个子模型共同组成所述业务模型，所述方法由所述第一成员设备执行，所述方法包括：执行下述循环过程，直到满足循环结束条件：与各个第二成员设备一起使用训练样本数据以及各自的当前子模型得到当前业务模型的当前预测值，其中，与所述至少一个非线性模型结构对应的模型计算采用线性近似处理方式实现；根据所述当前预测值和对应的标签值，确定当前预测差值；将所述当前预测差值发送给各个第二成员设备；以及在不满足所述循环结束条件时，根据所述当前预测差值调整所述第一成员设备的当前子模型，调整后的当前子模型用作下一循环过程的当前子模型。9.一种用于经由模型训练系统训练业务模型的方法，所述业务模型包括至少一个非线性模型结构，所述模型训练系统包括第一成员设备和至少一个第二成员设备，各个成员设2CN111368983A权利要求书2/3页备分别维护所述业务模型的一个子模型，各个子模型共同组成所述业务模型，所述方法由第二成员设备执行，所述方法包括：执行下述循环过程，直到满足循环结束条件：与所述第一成员设备和各个其他第二成员设备一起使用训练样本数据以及各自的当前子模型得到当前业务模型的当前预测值，其中，与所述至少一个非线性模型结构对应的模型计算采用线性近似处理方式实现；从所述第一成员