梯度提升树建模方法、装置以及终端.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112052954A(43)申请公布日2020.12.08(21)申请号201910496022.4(22)申请日2019.06.06(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人宋传园冯智张宇(74)专利代理机构北京市铸成律师事务所11313代理人王珺徐瑞红(51)Int.Cl.G06N20/00(2019.01)权利要求书3页说明书12页附图6页(54)发明名称梯度提升树建模方法、装置以及终端(57)摘要本发明实施例提出梯度提升树建模方法、装置及终端，方法包括：对具有标签值的第一样本数据集和多个第二样本数据集按照标识进行求交运算，得到具有标签值的第一数据交集和多个第二数据交集；根据标签值得到第一决策树的目标值，并对第一决策树的目标值加密，得到第一决策树的加密目标值；根据第一决策树的目标值、第一数据交集、第一决策树的加密目标值以及第二数据交集，确定第一决策树的最优分裂点；对第一决策树的最优分裂点所在位置的节点进行分裂，得到第二决策树；第一决策树经过预设训练轮数的迭代之后，生成第N决策树，N大于等于二；根据第一决策树至第N决策树，得到梯度提升树模型。多方联合梯度提升树建模，不会泄露各自隐私数据。CN112052954ACN112052954A权利要求书1/3页1.一种梯度提升树建模方法，其特征在于，包括：对具有标签值的第一样本数据集和多个第二样本数据集按照标识进行求交运算，得到具有标签值的第一数据交集和多个第二数据交集；根据所述标签值以及前一决策树的预测值得到第一决策树的目标值，并对所述第一决策树的目标值加密，得到所述第一决策树的加密目标值；根据所述第一决策树的目标值、所述第一数据交集、所述第一决策树的加密目标值以及所述第二数据交集，确定所述第一决策树的最优分裂点；对所述第一决策树的最优分裂点所在位置的节点进行分裂，得到第二决策树；所述第一决策树经过预设训练轮数的迭代之后，生成第N决策树，N大于等于二；根据所述第一决策树至所述第N决策树，得到梯度提升树模型。2.根据权利要求1所述的方法，其特征在于，对所述第一决策树的目标值加密，得到第一决策树的加密目标值，包括：第一端生成公钥和私钥，将所述公钥发送至第二端；所述第一端根据所述公钥对所述第一决策树的目标值加密，并将所述第一决策树的加密目标值发送至所述第二端。3.根据权利要求2所述的方法，其特征在于，根据所述第一决策树的目标值、所述第一数据交集、所述第一决策树的加密目标值以及所述第二数据交集，确定所述第一决策树的最优分裂点，包括：所述第一端根据所述第一数据交集和所述第一决策树的目标值，计算所述第一决策树中每一个分裂位置的信息增益，并从所述第一决策树中所有分裂位置对应的信息增益中确定出最大的信息增益，作为第一端局部最大信息增益，所述第一端局部最大信息增益所在的分裂位置为第一端局部最优分裂点；接收所述第二端发送的加密信息增益矩阵，所述加密信息增益矩阵是所述第一决策树中每一个分裂位置的加密信息增益构成的，所述加密信息增益是所述第二端根据所述第二数据交集和所述第一决策树的加密目标值得到的；所述第一端根据所述私钥对所述加密信息增益矩阵进行解密，并从所述第一决策树中所有分裂位置对应的加密信息增益中确定出最大的加密信息增益，作为第二端局部最大信息增益，所述第二端局部最大信息增益所在的分裂位置为所述第二端局部最优分裂点；所述第一端根据所述第一端局部最大信息增益和所述第二端局部最大信息增益，确定所述第一决策树的最优分裂点。4.根据权利要求3所述的方法，其特征在于，所述第一端根据所述第一端局部最大信息增益和所述第二端局部最大信息增益，确定所述第一决策树的最优分裂点，包括：所述第一端比较所述第一端局部最大信息增益和所述第二端局部最大信息增益；在所述第一端局部最大信息增益大于所述第二端局部最大信息增益的情况下，确定所述第一端局部最优分裂点为所述第一决策树的最优分裂点；在所述第一端局部最大信息增益小于所述第二端局部最大信息增益的情况下，确定所述第二端局部最优分裂点为所述第一决策树的最优分裂点。5.根据权利要求4所述的方法，其特征在于，对所述第一决策树的最优分裂点所在位置的节点进行分裂，得到所述第二决策树，包括：2CN112052954A权利要求书2/3页在所述第一端局部最优分裂点为所述第一决策树的最优分裂点情况下，所述第一端根据所述第一端局部最优分裂点所在位置的节点进行分裂，存储分裂的第一特征和值，得到第一分裂结果；在所述第二端局部最优分裂点为所述第一决策树的最优分裂点情况下，所述第一端发送所述第二端局部最优分裂点至所述第二端；所述第一端接收所述第二端发送的第二分裂结果，