模型训练方法、成员探测装置的训练方法及其系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111079946A(43)申请公布日2020.04.28(21)申请号201911333307.2(22)申请日2019.12.20(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人周俊(74)专利代理机构成都七星天知识产权代理有限公司51253代理人袁春晓(51)Int.Cl.G06N20/00(2019.01)G06F21/60(2013.01)权利要求书2页说明书10页附图3页(54)发明名称模型训练方法、成员探测装置的训练方法及其系统(57)摘要本说明书中的实施例提供了模型训练方法、成员探测装置的训练方法及其系统，以防范成员攻击造成的数据隐私泄露。其中，成员探测装置可以基于特征数据、标签数据和模型的预测结果评估攻击者基于这些数据成功探测出该特征数据是否属于模型训练集的概率。进而，模型训练系统可以通过调节所训练模型的参数和/或结构来降低该概率。CN111079946ACN111079946A权利要求书1/2页1.一种保护数据隐私的模型训练方法，其中，包括：基于训练集训练模型；对于所述训练集中的任一训练样本，获取成员探测装置基于该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果得到的输出值，所述输出值反映基于所述输出结果正确推断出该训练样本属于所述训练集的概率；调节所述模型的参数和/或结构，以降低所述输出值。2.根据权利要求1所述的方法，其中，所述训练样本包括实体的隐私数据，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。3.根据权利要求1所述的方法，其中，所述调节所述模型的参数和/或结构，包括：使所述模型的一个或多个节点在给定输入的条件下对应的输出具有不确定性。4.根据权利要求3所述的方法，其中，所述使所述模型的一个或多个节点在给定输入的条件下对应的输出具有不确定性，包括：在所述一个或多个节点的输出中添加噪声。5.根据权利要求1所述的方法，其中，所述调节所述模型的参数和/或结构，包括：屏蔽所述模型中的一个或多个节点。6.根据权利要求1所述的方法，其中，还包括：对于模型的训练集中的任一训练样本：获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果，作为训练输入数据；获取反映所述模型对于该训练样本的预测性能的信息值，作为训练输出参考数据；利用基于训练集中各训练样本确定的训练输入数据和训练输出参考数据训练所述成员探测装置。7.一种保护数据隐私的模型训练系统，其中，包括：模型训练模块，用于基于训练集训练模型；第一获取模块，用于对于所述训练集中的任一训练样本，获取成员探测装置基于该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果得到的输出值，所述输出值反映基于所述输出结果正确推断出该训练样本属于所述训练集的概率；调节模块，用于调节所述模型的参数和/或结构，以降低所述输出值。8.根据权利要求7所述的系统，其中，所述训练样本包括实体的隐私数据，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。9.根据权利要求7所述的系统，其中，所述调节模块进一步用于使所述模型的一个或多个节点在给定输入的条件下对应的输出具有不确定性。10.根据权利要求9所述的系统，其中，所述调节模块进一步用于在所述一个或多个节点的输出中添加噪声。11.根据权利要求7所述的系统，其中，所述调节模块进一步用于屏蔽所述模型中的一个或多个节点。12.根据权利要求7所述的系统，其中，还包括成员探测装置训练模块，所述成员探测装置训练模块用于：对于模型的训练集中的任一训练样本：2CN111079946A权利要求书2/2页获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果，作为训练输入数据；获取反映所述模型对于该训练样本的预测性能的信息值，作为训练输出参考数据；利用基于训练集中各训练样本确定的训练输入数据和训练输出参考数据训练所述成员探测装置。13.一种保护数据隐私的模型训练装置，其中，包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当至少一个处理器执行指令时，实现如权利要求1～6中任一项所述的方法。14.一种成员探测装置的训练方法，其中，包括：对于模型的训练集中的任一训练样本：获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果，作为训练输入数据；获取反映所述模型对于该训练样本的预测性能的信息值，作为训练输出参考数据；利用基于训练集中各训练样本确定的训练输入数据和训练输出参考数据训练所述成员探测装置。15.根据权利要求14所述的方法，其中，所述训练样本包括实体的隐私数据，所述隐私数据包括文本数据、图像数据、声音数据