针对逻辑回归模型进行联合训练的方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115048674A(43)申请公布日2022.09.13(21)申请号202210744765.0(22)申请日2022.06.28(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人刘颖婷王力王磊(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06F21/62(2013.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N20/00(2019.01)权利要求书2页说明书14页附图3页(54)发明名称针对逻辑回归模型进行联合训练的方法及装置(57)摘要本说明书实施例提供一种多方联合针对逻辑回归模型进行联合训练的方法及装置，在多方联合利用各自的隐私数据进行逻辑回归模型训练过程中，利用多项式、分段函数等对逻辑斯蒂函数进行近似计算，以减少逻辑斯蒂函数计算的复杂度。具体地，针对训练数据的特点，结合各个数据持有方所持有的隐私数据的实际情况，确定对逻辑斯蒂函数近似计算的不同精度需求，从而选择逻辑回归模型中针对逻辑斯蒂函数的近似方案。该方式可以兼顾多方安全计算的逻辑回归模型准确性和效率需求，提高多方安全计算场景下联合训练逻辑回归模型的有效性。CN115048674ACN115048674A权利要求书1/2页1.一种针对逻辑回归模型进行联合训练的方法，其中，所述逻辑回归模型包括逻辑斯蒂函数，用于对所述逻辑回归模型进行训练的业务数据包括分布于多个数据方的隐私数据，所述方法由所述多个数据方中的第一方执行，包括：基于从本地业务数据中针对各个业务对象分别提取的若干个属性特征，与其他数据方基于对属性特征的安全处理，在使用多个候选近似方案中的第一近似方案代替所述逻辑斯蒂函数的情况下，对所述逻辑回归模型进行训练；根据训练结果，与其他数据方安全确定所述逻辑回归模型的预测值，以得到所述逻辑回归模型的预测值的第一分片；根据所述逻辑回归模型的预测值的第一分片，与其他数据方安全确定模型损失，以基于模型损失检测所述逻辑回归模型的收敛性；基于对所述逻辑回归模型的收敛性的检测结果，确定是否在所述多个候选近似方案中选择第二近似方案代替所述逻辑斯蒂函数进行安全计算，以继续对所述逻辑回归模型进行安全联合训练；并且，在所述逻辑回归模型收敛的情况下，得到所述逻辑斯蒂函数的第一参数分片。2.如权利要求1所述的方法，其中，所述逻辑回归模型的模型收敛性通过以下方式检测：与其他数据方联合安全检测所述逻辑回归模型的参数变化率，以基于逻辑回归模型的参数变化率检测模型收敛性；其中，所述逻辑回归模型的参数变化率包括以下中的至少一项：模型损失的变化率、基于模型损失确定的梯度的变化率、基于梯度调整的待定参数的变化率。3.如权利要求1所述的方法，其中，所述基于从本地业务数据中针对各个业务对象分别提取的若干个属性特征，与其他数据方基于对属性特征的安全处理，得到所述逻辑斯蒂函数的输入变量的第一分片包括：与其他数据方联合对所述属性特征在多方安全计算前提下进行归一化或标准化处理，以得到标准化特征矩阵的第一分片；基于所述标准化特征矩阵的第一分片，与其他数据方基于对属性特征的安全处理，得到所述逻辑斯蒂函数的输入变量的第一分片。4.如权利要求1所述的方法，其中，所述第一近似方案为经由关于所述输入变量的一阶多项式实现的候选近似方案，所述一阶多项式为以下中的一项：泰勒一阶展开多项式、Minimax一阶多项式。5.如权利要求1所述的方法，其中：在对所述逻辑回归模型的收敛性的检测结果为不具有收敛性的情况下，在所述多个候选近似方案中选择高于一阶的高阶多项式、分段函数中的至少一种的候选近似方案作为所述第二近似方案，继续对所述逻辑回归模型进行安全联合训练。6.如权利要求1所述的方法，其中，所述在所述逻辑回归模型收敛的情况下，得到所述逻辑斯蒂函数的第一参数分片包括：在所述逻辑回归模型收敛的情况下，与其他数据方联合检测训练后的逻辑回归模型的预测精度；在所述预测精度不满足预定条件的情况下，选择针对高于预定阶数的高阶多项式与分2CN115048674A权利要求书2/2页段函数相结合的第三近似方案代替所述逻辑斯蒂函数进行安全计算，从而与其他数据方按照所述第三近似方案重新安全联合训练所述逻辑回归模型；直至所述预测精度满足预定条件，得到所述逻辑斯蒂函数的第一参数分片。7.如权利要求1所述的方法，其中，所述方法还包括：基于所述逻辑斯蒂函数的第一参数分片，与其他数据方在利用第四近似方案代替所述逻辑斯蒂函数的情况下安全地对所述逻辑回归模型进行在分类效果上的系数显著性检验。8.如权利要求7所述的方法，其中，所述显著性检验通