模型迁移方法、装置及电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115329958A(43)申请公布日2022.11.11(21)申请号202110510937.3(22)申请日2021.05.11(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人阮怀玉章鹏苏煜(74)专利代理机构北京博思佳知识产权代理有限公司11415专利代理师周嗣勇(51)Int.Cl.G06N5/00(2006.01)G06N20/20(2019.01)权利要求书3页说明书13页附图2页(54)发明名称模型迁移方法、装置及电子设备(57)摘要一种模型迁移方法及装置，所述方法包括：基于源场景中的第一训练样本数据、与第一训练样本数据对应的样本标签对所述模型进行模型训练，得到训练完成的所述决策树模型；基于目标场景中的无样本标签对应的第二训练样本数据，对训练完成的所述决策树模型中的每个决策树分别进行剪枝处理，以完成将所述决策树模型从源场景迁移至目标场景。一方面，解决了目标场景无标签情况下模型初始化的问题，并提升迁移模型在目标场景的泛化效能；另一方面，仅需将源场景训练的决策树模型的模型参数输出到目标场景，无需要使用源场景下的数据，满足了数据安全和隐私保护的用户需求。CN115329958ACN115329958A权利要求书1/3页1.一种模型迁移方法，所述模型为包括若干个决策树的决策树模型，所述方法包括：基于源场景中的第一训练样本数据、与第一训练样本数据对应的样本标签对所述模型进行模型训练，得到训练完成的所述决策树模型；基于目标场景中的无样本标签对应的第二训练样本数据，对训练完成的所述决策树模型中的每个决策树分别进行剪枝处理，以完成将所述决策树模型从源场景迁移至目标场景。2.根据权利要求1所述的方法，所述目标场景的第一训练样本数据的特征空间与所述源场景的第二训练样本数据的特征空间相同；所述目标场景的第一训练样本数据的特征分布与所述源场景的第二训练样本数据的特征分布不同。3.根据权利要求1所述的方法，在对训练完成的所述决策树模型中的每个决策树分别进行剪枝处理后，还包括：对剪枝后的所述决策树模型中的每个决策树分别进行决策参数调整，以完成将所述决策树模型从源场景迁移至目标场景。4.根据权利要求1所述的方法，所述每个决策树包括根节点、非叶子节点、叶子节点；所述对训练完成的所述决策树模型中的每个决策树分别进行剪枝处理，包括：将所述第二训练样本数据输入至训练完成的所述决策树模型的每个决策树进行预测，并记录所述第二训练样本数据在每个决策树中的每个节点的样本分布；遍历每个决策树中的所有非叶子节点中的每个非叶子节点；针对每个决策树，判断所述第二训练样本数据在所述每个非叶子节点对应的叶子节点的样本分布是否小于预设的样本分布阈值，或者判断所述第二训练样本数据在所述每个非叶子节点对应的叶子节点的样本数量是否小于预设的样本数量阈值；如果是，则将该决策树的该非叶子节点对应的叶子节点进行剪枝，并输出剪枝后的所述决策树模型。5.根据权利要求3所述的方法，所述决策参数为用于决策树中的每个节点进行决策的决策特征阈值；所述对剪枝后的所述决策树模型中的每个决策树分别进行决策参数调整，包括：将所述第二训练样本数据输入至剪枝后的所述决策树模型的每个决策树进行预测，并记录所述第二训练样本数据在每个决策树中的每个节点的样本分布和所述第二训练样本数据中的所有样本数据的后验概率分布；从每个决策树的根节点至非叶子节点进行层次遍历；基于预设的损失函数，迭代计算每个决策树中的每个节点的样本分布和所述第二训练样本数据中的所有样本数据的后验概率分布，按预设步进值调整每个节点的决策特征阈值，以求解所述损失函数的最小值；将求解得到的所述损失函数为最小值时对应的每个节点的决策特征阈值，作为每个决策树调整后的决策参数。6.根据权利要求5所述的方法，所述损失函数基于以下公式表征：2CN115329958A权利要求书2/3页其中，f(x)表征源场景下训练得到决策树模型对应的分类函数，pS(f(x))表征该机器学习模型在源场景的预测分布，pT(f(x))表征该机器学习模型在目标场景的预测分布；pS(xi)表征变量xi在源场景的概率分布，pT(xi)表征变量xi在目标场景的概率分布；Ti表征变量xi在决策树模型中的节点的一系列决策特征阀值；通过在目标场景搜索变量xi新的决策特征阀值，使得损失函数的值最小；所述损失函数中的JS(pS(f(x))||pT(f(x)))中的pS(f(x))和pT(f(x)分别作为p和q，以及损失函数中的JS(pS(xi)||pT(xi)中的pS(xi)和pT(xi)分别作为p和q，代入至以下公式中进行计算：其中，JS(p||q)表征概率分