保护数据隐私的模型训练、预测方法及其系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111125760A(43)申请公布日2020.05.08(21)申请号201911334587.9(22)申请日2019.12.20(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人周俊(74)专利代理机构成都七星天知识产权代理有限公司51253代理人袁春晓(51)Int.Cl.G06F21/62(2013.01)G06N3/04(2006.01)G06N3/08(2006.01)G06N20/00(2019.01)权利要求书3页说明书10页附图3页(54)发明名称保护数据隐私的模型训练、预测方法及其系统(57)摘要本说明书中的实施例提供了保护数据隐私的模型训练、预测方法及其系统，其技术要点包括：训练的模型包括包含输入层的第一部分和包含输出层的第二部分，所述方法包括：对于任一训练样本，获取所述训练样本的特征值，所述第一部分基于所述特征值得到的模型中间值，所述第二部分基于所述模型中间值得到的输出结果，以及特征值还原装置基于所述模型中间值得到的所述特征值的还原值；调节所述模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果和样本标签的第二差异。CN111125760ACN111125760A权利要求书1/3页1.一种保护数据隐私的模型训练方法，其中，训练的模型包括包含输入层的第一部分和包含输出层的第二部分，所述方法包括：对于任一训练样本，获取所述训练样本的特征值，所述第一部分基于所述特征值得到的模型中间值，所述第二部分基于所述模型中间值得到的输出结果，以及特征值还原装置基于所述模型中间值得到的所述特征值的还原值；其中，所述特征值还原装置用于基于所述模型中间值反推其对应样本的特征值；调节所述模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果与样本标签的第二差异。2.根据权利要求1所述的方法，其中，所述训练样本包括实体的隐私数据，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。3.根据权利要求1所述的方法，其中，所述调节所述模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果和样本标签的第二差异，包括：基于构造的损失函数，调节所述模型的参数，其中，所述损失函数与第一差异负相关，与第二差异正相关。4.根据权利要求1所述的方法，其中，所述模型包括神经网络。5.根据权利要求1所述的方法，其中，所述特征值还原装置为机器学习模型，所述方法还包括：调节所述特征值还原装置的参数和/或结构，以减小训练样本的特征值的还原值与特征值本身的第一差异。6.一种保护数据隐私的模型训练系统，其中，训练的模型包括包含输入层的第一部分和包含输出层的第二部分，所述系统包括：第一获取模块，对于任一训练样本，获取所述训练样本的特征值，所述第一部分基于所述特征值得到的模型中间值，所述第二部分基于所述模型中间值得到的输出结果，以及特征值还原装置基于所述模型中间值得到的所述特征值的还原值；其中，所述特征值还原装置用于基于所述模型中间值反推其对应样本的特征值；模型训练模块，用于调节所述模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果与样本标签的第二差异。7.根据权利要求6所述的系统，其中，所述训练样本包括实体的隐私数据，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。8.根据权利要求6所述的系统，其中，所述第一处理模块还用于基于构造的损失函数，调节所述模型的参数，其中，所述损失函数与第一差异负相关，与第二差异正相关。9.根据权利要求6所述的系统，其中，所述模型包括神经网络。10.根据权利要求6所述的系统，其中，所述特征值还原装置为机器学习模型，所述系统还包括：装置训练模块，用于调节所述特征值还原装置的参数和/或结构，以减小训练样本的特征值的还原值与特征值本身的第一差异。11.一种保护数据隐私的模型训练装置，其中，包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当至少一个处理器执行指令时，实现如权利要求1～5中任2CN111125760A权利要求书2/3页一项所述的方法。12.一种保护数据隐私的模型预测方法，其中，预测模型被拆分成包括输入层的第一部分和包括输出层的第二部分，所述第一部分设置于用户端，所述第二部分设置于服务端；所述方法由所述用户端执行，其包括：获取待预测对象的特征值；将所述特征值输入到所述第一部分以获得模型中间值；获取特征值还原装置基于所述模型中间值得到的所述特征值的还原值；其中，