联合训练模型的方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115345298A(43)申请公布日2022.11.15(21)申请号202210988146.6(22)申请日2022.08.17(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人郑龙飞王力(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)G06F21/62(2013.01)权利要求书3页说明书12页附图3页(54)发明名称联合训练模型的方法及装置(57)摘要本说明书实施例提供一种联合更新模型的方法及装置，在训练成员向服务方提供相应的中间张量时，先对相应中间张量进行稀疏化处理，然后对稀疏化后的有效元素进行减少字节数的量化操作，从而以较少的数据量向服务方提供相应中间张量的稀疏化数据。服务方针对接收到的稀疏化数据，先进行反量化操作，恢复出中间张量对应的稀疏张量，并进行后续处理。之后，服务方基于后续处理将与训练成员的中间张量对应的处理张量反馈给各个训练成员，从而由各个训练成员更新本地局部模型。该方式对稀疏化后的中间张量进一步进行量化处理，大大缩减数值的字节数，从而减少通信数据量，缩短通信时间，提高模型训练效率。CN115345298ACN115345298A权利要求书1/3页1.一种联合训练模型的方法，由服务方和多个训练成员各自利用本地隐私数据联合更新模型，其中，所述多个训练成员包括第一成员，所述第一成员针对训练样本持有第一特征数据，所述模型在所述第一成员对应有第一局部模型，在服务方对应有全局模型；所述方法由第一成员执行，在当前模型更新周期，所述方法包括：基于所述第一局部模型对当前批次的若干条训练样本的第一特征数据进行的处理，得到第一中间张量；针对所述第一中间张量进行稀疏化，得到第一数值类型描述的第一稀疏化张量；对所述第一稀疏化张量中保留的元素进行量化处理，得到第一稀疏数据，其中，所述第一稀疏数据通过第二数值类型描述相应元素，第一数值类型对应的字节数大于第二数值类型对应的字节数；向服务方提供第二数值类型描述的第一稀疏数据，以供所述服务方基于对第一稀疏数据的反量化结果进行相应处理后，反馈与所述第一中间张量对应的第一处理张量；基于所述第一处理张量更新所述第一局部模型。2.如权利要求1所述的方法，其中，在纵向联邦学习中，所述服务方为持有标签数据的训练成员或可信第三方，所述全局模型与所述第一局部模型顺次连接，所述第一中间张量是第一局部模型对所述若干条训练样本的第一特征数据的处理结果。3.如权利要求2所述的方法，其中，所述第一处理张量是：模型损失对所述第一中间张量的第一中间梯度，其中，所述第一中间梯度由服务方基于对第一稀疏数据的反量化得到的第二中间张量，由所述全局模型处理处理第二中间张量与其他训练成员反馈的其他中间张量的融合结果，得到相应的预测结果，并经由预测结果与标签数据的对比确定模型损失，从而通过梯度反向传播确定所述第一中间梯度；所述基于所述第一处理张量更新所述第一局部模型进一步包括：利用所述第一中间梯度确定所述第一局部模型中各个待定参数分别对应的各个梯度；根据各个梯度更新所述第一局部模型中各个待定参数，从而更新所述第一局部模型。4.如权利要求1所述的方法，其中，在横向联邦学习中，所述服务方为可信第三方，所述全局模型与所述第一局部模型结构一致，所述第一中间张量是用于描述待同步参数的张量，待同步参数为待定参数的变化量、待定参数的梯度、待定参数的更新值中的一项。5.如权利要求1所述的方法，其中，所述第一处理张量是：由服务方通过对所述第一稀疏数据即其他训练成员反馈的稀疏数据各自的反量化结果进行同步融合得到的融合张量；所述基于所述第一处理张量更新所述第一局部模型进一步包括：利用所述同步张量替换本地的待同步参数，从而完成所述第一局部模型与其他训练成员所持有局部模型同步的更新。6.如权利要求1所述的方法，其中，所述第一中间张量的元素数为n1，稀疏化后保留的有效元素数为n2，n2小于n1，所述第一稀疏化张量中的有效元素包括第一元素，所述第一元素对应有第一索引位置和第一元素值，所述第一索引值在0至n1之间取值；所述对所述第一稀疏化张量中保留的元素进行量化处理，得到第一稀疏数据包括：对所述第一元素值按照第一数值类型对应的字节数描述的取值范围向第二数值类型对应的字节数描述的取值范围进行取整映射，得到对所述第一元素值对应的第一量化值；将所述第一索引位置按照第一字节数描述第三数值类型的取值范围进行映射，得到的2CN115345298A权利要求书2/3页整数作为所述第一索引的第一坐标值，得到的余数