保护隐私数据的多方联合建模的方法、装置和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112948883A(43)申请公布日2021.06.11(21)申请号202110317328.6(22)申请日2021.03.25(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人范东云孟昌华王维强(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06F21/62(2013.01)G06F21/60(2013.01)G06N3/08(2006.01)权利要求书4页说明书10页附图3页(54)发明名称保护隐私数据的多方联合建模的方法、装置和系统(57)摘要本说明书实施例提供一种保护隐私数据的多方联合建模的方法、装置和系统，方法包括：第一方将用户集中任意的第一用户对应的第一隐私数据输入第一神经网络模型，获取第一神经网络模型的目标隐层输出的中间数据；第一神经网络模型利用伪标签通过自监督方式训练得到，伪标签基于用户集中各用户的第一隐私数据而构造；将中间数据和第一用户的用户标识发送给第二方，以使第二方根据用户标识，对中间数据和第一用户对应的第二隐私数据整合后，利用第一用户对应的类别标签，对第二神经网络模型进行训练。能够在多方联合建模时，既保护隐私数据，又能够有效提升模型表现。CN112948883ACN112948883A权利要求书1/4页1.一种保护隐私数据的多方联合建模的方法，所述多方包括第一方和第二方，所述第一方具有用户集中各用户对应于若干第一特征项的各第一隐私数据，所述第二方具有所述用户集中各用户对应于若干第二特征项的各第二隐私数据和各用户分别对应的类别标签，所述方法由所述第一方执行，包括：将所述用户集中任意的第一用户对应的第一隐私数据输入第一神经网络模型，获取第一神经网络模型的目标隐层输出的中间数据；所述第一神经网络模型利用伪标签通过自监督方式训练得到，所述伪标签基于所述用户集中各用户的第一隐私数据而构造；将所述中间数据和所述第一用户的用户标识发送给所述第二方，以使所述第二方根据所述用户标识，对所述中间数据和所述第一用户对应的第二隐私数据整合后，利用所述第一用户对应的类别标签，对第二神经网络模型进行训练。2.如权利要求1所述的方法，其中，所述方法还包括：基于各用户的各第一隐私数据，构造对应的样本特征和伪标签，形成各训练样本；利用各训练样本，训练所述第一神经网络模型。3.如权利要求2所述的方法，其中，所述基于各用户的各第一隐私数据，构造对应的样本特征和伪标签，形成各训练样本，包括：针对各第一隐私数据中的任一第一隐私数据，遮蔽至少一个第一特征项对应的原始特征值，将其替换成目标特征值，替换后的第一隐私数据作为样本特征，并将被遮蔽的原始特征值作为伪标签，形成该第一隐私数据对应的训练样本。4.如权利要求3所述的方法，其中，所述目标特征值以第一概率为预设值，以第二概率为随机值，以第三概率为替换前的原值，所述第一概率大于所述第二概率和第三概率。5.如权利要求1所述的方法，其中，所述目标隐层为所述第一神经网络模型包含的多个隐层中的最后一个隐层。6.如权利要求1所述的方法，其中，所述将所述中间数据和所述第一用户的用户标识发送给所述第二方，包括：将所述中间数据和所述第一用户的用户标识，利用自身的私钥加密后发送给所述第二方，所述第二方具有所述私钥对应的公钥。7.如权利要求6所述的方法，其中，所述将所述中间数据和所述第一用户的用户标识，利用自身的私钥加密后发送给所述第二方之前，所述方法还包括：将所述用户标识利用第一函数进行同态加密，得到加密用户标识；所述将所述中间数据和所述第一用户的用户标识，利用自身的私钥加密后发送给所述第二方，包括：将所述中间数据、所述加密用户标识和所述第一函数，利用自身的私钥加密后发送给所述第二方。8.一种保护隐私数据的多方联合建模的方法，所述多方包括第一方和第二方，所述第一方具有用户集中各用户对应于若干第一特征项的各第一隐私数据，所述第二方具有所述用户集中各用户对应于若干第二特征项的各第二隐私数据和各用户分别对应的类别标签，所述方法由所述第二方执行，包括：从所述第一方接收中间数据和第一用户的用户标识；所述中间数据为所述第一方通过将所述用户集中任意的第一用户对应的第一隐私数据输入第一神经网络模型，获取的第一2CN112948883A权利要求书2/4页神经网络模型的目标隐层的输出；所述第一神经网络模型利用伪标签通过自监督方式训练得到，所述伪标签基于所述用户集中各用户的第一隐私数据而构造；根据所述用户标识，对所述中间数据和所述第一用户对应的第二隐私数据整合；利用整合后的所述中间数据、第二隐私数据和所述第一用户对应的类别标