保护隐私安全的神经网络模型的训练方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110874471A(43)申请公布日2020.03.10(21)申请号201911137260.2(22)申请日2019.11.19(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人翁海琴(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人孙欣欣周良玉(51)Int.Cl.G06F21/55(2013.01)G06F21/62(2013.01)G06N3/04(2006.01)G06N3/063(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称保护隐私安全的神经网络模型的训练方法和装置(57)摘要本说明书实施例提供一种保护隐私安全的神经网络模型的训练方法和装置，方法包括：获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；确定所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；根据所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。能够防止攻击者探测到神经网络模型的训练数据。CN110874471ACN110874471A权利要求书1/2页1.一种保护隐私安全的神经网络模型的训练方法，所述方法包括：获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；确定所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；根据所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。2.如权利要求1所述的方法，其中，所述初步训练调整所述目标神经网络模型中各中间层的参数。3.如权利要求1所述的方法，其中，所述确定所述多个中间层中的决策重要层和决策无关层，包括：将所述成员样本和非成员样本作为评测样本组成评测数据集；将任一评测样本输入所述目标神经网络模型，得到所述目标神经网络模型的各中间层分别输出的该评测样本的各中间层特征；根据评测样本的各中间层特征，以及该评测样本是否为成员样本，确定各中间层中的决策重要层和决策无关层。4.如权利要求3所述的方法，其中，所述将所述成员样本和非成员样本作为评测样本组成评测数据集，包括：从所述第一数量个成员样本中抽取第二数量个成员样本；所述第二数量小于所述第一数量；获取第三数量个非成员样本，所述非成员样本的分布与所述成员样本的分布相同；所述第二数量个成员样本和所述第三数量个非成员样本作为评测样本组成评测数据集。5.如权利要求3所述的方法，其中，所述根据评测样本的各中间层特征，以及该评测样本是否为成员样本，确定各中间层中的决策重要层和决策无关层，包括：将评测样本的各中间层特征进行降维处理后作为可解释分类器的样本特征，将该评测样本是否为成员样本作为样本标签，对所述可解释分类器进行训练；根据训练后的可解释分类器，确定各中间层中的决策重要层和决策无关层。6.如权利要求5所述的方法，其中，所述将评测样本的各中间层特征进行降维处理，包括：针对每一个中间层，训练一个自编码器；利用各中间层对应的自编码器对评测样本的该中间层的中间层特征进行降维处理。7.如权利要求5所述的方法，其中，所述可解释分类器为树模型或逻辑回归模型。8.如权利要求1所述的方法，其中，所述方法还包括：更换所述部分神经元后，再重复所述再次训练。9.如权利要求1所述的方法，其中，所述一定概率为百分之50。10.一种保护隐私安全的神经网络模型的训练装置，所述装置包括：获取单元，用于获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络2CN110874471A权利要求书2/2页模型包括多个中间层，所述训练数据集包括第一数量个成员样本；确定单元，用于确定所述获取单元获取的所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；训练单元，用于根据所述获取单元获取的所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。11.如权利要求10所述的装置，