联合训练逻辑回归模型的方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114742233A(43)申请公布日2022.07.12(21)申请号202210346184.1(22)申请日2022.04.02(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人崔锦铭王力(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06N20/00(2019.01)G06N3/04(2006.01)G06F21/60(2013.01)G06F21/62(2013.01)权利要求书2页说明书9页附图3页(54)发明名称联合训练逻辑回归模型的方法及装置(57)摘要本说明书实施例提供一种联合训练逻辑回归模型的方法，所述训练涉及包括样本特征、样本标签和模型参数在内的3种训练数据，均被拆分为分片分布于两方之中；该方法由两方中任意的第一方执行，包括：利用随机数组第一分片中的3个随机数第一分片，对3种训练数据对应的3个第一方分片对应进行掩码处理，得到3个第一掩码分片，并发送给第二方，该随机数组第一分片由第三方将其生成的随机数组中的各数值拆分为两方分片后，将分片之一发送给第一方；利用3个第一掩码分片和从第二方接收的3个第二掩码分片，构建对应3种训练数据的3个掩码数据；基于3个掩码数据和随机数组第一分片进行第一计算，得到第一梯度分片，用于更新模型参数的第一方分片。CN114742233ACN114742233A权利要求书1/2页1.一种联合训练逻辑回归模型的方法，所述训练涉及包括样本特征、样本标签和模型参数在内的3种训练数据；所述3种训练数据均被拆分为分片分布于两方之中；所述方法由两方中任意的第一方执行，包括：利用随机数组第一分片中的3个随机数第一分片，对所述3种训练数据对应的3个第一方分片对应进行掩码处理，得到3个第一掩码分片，并将其发送给第二方；所述随机数组第一分片由第三方将其生成的随机数组中的各数值拆分为两方分片后，将分片之一发送给第一方而得到；利用所述3个第一掩码分片和从所述第二方接收的3个第二掩码分片，构建对应所述3种训练数据的3个掩码数据；基于所述3个掩码数据和所述随机数组第一分片进行第一计算，得到第一梯度分片，用于更新所述模型参数的第一方分片；所述第一计算基于所述逻辑回归模型的梯度计算的泰勒展开式而确定。2.根据权利要求1所述的方法，其中，所述第一方持有所述样本特征，所述第二方持有所述样本标签；在得到3个第一掩码分片之前，所述方法还包括：采用秘密分享技术，将所述样本特征拆分为对应的第一方分片和第二方分片，并将后者发送给所述第二方；从所述第二方接收采用秘密分享技术拆分所述样本标签而得到的第一方分片。3.根据权利要求1或2所述的方法，其中，在得到3个第一掩码分片之前，所述方法还包括：在初始化所述模型参数后，将其拆分为对应的第一方分片和第二方分片，并将后者发送给所述第二方；或者，从所述第二方接收采用秘密分享技术拆分初始化后的所述模型参数而得到的第一方分片。4.根据权利要求1所述的方法，其中，利用3个随机数第一分片对所述3种训练数据对应的3个第一方分片对应进行掩码处理，得到3个第一掩码分片，包括：针对任意一种训练数据，利用与其具有相同维度的随机数第一分片，对其第一方分片进行掩码处理，得到对应的第一掩码分片。5.根据权利要求1所述的方法，其中，利用所述3个第一掩码分片和从所述第二方接收的3个第二掩码分片，构建对应所述3种训练数据的3个掩码数据，包括：针对任意一种训练数据，利用其第一掩码分片和第二掩码分片，构建对应的掩码数据。6.根据权利要求1所述的方法，其中，所述随机数组还包括第四随机数；所述3个随机数中包括与所述模型参数对应的第二随机数；所述3个掩码数据中包括所述样本特征对应的特征掩码数据；在构建对应所述3种训练数据的3个掩码数据之后，以及得到第一梯度分片之前，所述方法还包括：基于所述第二随机数的第一分片、所述特征掩码数据，以及所述第四随机数的第一分片，确定第二随机数和所述特征掩码数据的乘积结果对应的第一乘积掩码分片，并将其发送给第二方；利用所述第一乘积掩码分片和从所述第二方接收的该乘积结果对应的第二乘积掩码分片，构建所述乘积结果对应的乘积掩码数据；2CN114742233A权利要求书2/2页其中，基于所述3个掩码数据和随机数组第一分片进行第一计算，包括：还基于所述乘积掩码数据进行所述第一计算。7.根据权利要求1或6所述的方法，其中，所述随机数组还包括多个附加值，所述多个附加值是所述第三方基于所述3个随机数进行运算而得到的数值；其中，基于所述3个掩码数据和随机数组第一分片进行第一计算，得到第一梯度分片，包括：基于所述3个掩码数据