类别预测模型的训练方法、预测方法、设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115994611A(43)申请公布日2023.04.21(21)申请号202211313463.4(22)申请日2022.10.25(71)申请人京东城市（北京）数字科技有限公司地址100086北京市海淀区知春路76号(写字楼)1号楼9层1-7-5号(72)发明人王小波李鹏林锋卢凌昊张钧波(74)专利代理机构北京品源专利代理有限公司11332专利代理师杨义(51)Int.Cl.G06Q10/04(2023.01)G06Q50/20(2012.01)G06F18/214(2023.01)G06N3/084(2023.01)权利要求书3页说明书19页附图7页(54)发明名称类别预测模型的训练方法、预测方法、设备和存储介质(57)摘要本发明实施例公开了一种类别预测模型的训练方法、预测方法、设备和存储介质，类别预测模型的训练方法包括：从历史事件数据和在线事件数据中获取到样本事件数据后，基于初始类别预测模型所包含的知识蒸馏教师模型确定样本事件数据所对应的软标签数据；基于历史事件数据和在线事件数据确定概念漂移值；根据软标签数据、样本事件数据以及根据概念漂移值、软标签数据和样本事件数据所构建的损失函数，训练初始类别预测模型所包含的知识蒸馏学生模型，得到目标类别预测模型。上述技术方案，对学生模型进行训练时，更多参考知识蒸馏教师模型或在线事件数据，训练效果更好，得到的目标类别预测模型性能也更好。CN115994611ACN115994611A权利要求书1/3页1.一种类别预测模型的训练方法，其特征在于，包括：从历史事件数据和在线事件数据中获取到样本事件数据后，基于初始类别预测模型所包含的知识蒸馏教师模型确定所述样本事件数据所对应的软标签数据；基于所述历史事件数据和所述在线事件数据确定概念漂移值；根据所述软标签数据、所述样本事件数据以及根据所述概念漂移值、所述软标签数据和所述样本事件数据所构建的损失函数，训练所述初始类别预测模型所包含的知识蒸馏学生模型，得到目标类别预测模型，其中，所述知识蒸馏教师模型和所述知识蒸馏学生模型的模型结构一致。2.根据权利要求1所述的类别预测模型的训练方法，其特征在于，从历史事件数据和在线事件数据中获取到样本事件数据，包括：根据采样量和所述在线事件数据的数据量确定历史采样量；基于预设采样方式在所述历史事件数据中采样得到历史采样量的样本事件子数据；将所述在线事件数据和所述样本事件子数据确定为所述样本事件数据。3.根据权利要求1所述的类别预测模型的训练方法，其特征在于，所述初始类别预测模型包括多个所述知识蒸馏教师模型，相应地，基于初始类别预测模型所包含的知识蒸馏教师模型确定所述样本事件数据所对应的软标签数据，包括：将所述样本事件数据作为输入信息输入各所述知识蒸馏教师模型，获得各所述知识蒸馏教师模型分别输出的所述样本事件数据对应的类别信息以及各所述类别信息对应的概率信息；根据各所述知识蒸馏教师模型的权重信息和所述概率信息确定所述软标签数据。4.根据权利要求1所述的类别预测模型的训练方法，其特征在于，在基于初始类别预测模型所包含的知识蒸馏教师模型确定所述样本事件数据所对应的软标签数据之前，还包括：基于所述样本事件数据和所述样本事件数据对应的真实标签训练所述知识蒸馏教师模型，以更新所述知识蒸馏教师模型的参数信息。5.根据权利要求1所述的类别预测模型的训练方法，其特征在于，基于所述历史事件数据和所述在线事件数据确定概念漂移值，包括：确定所述历史事件数据的第一关键信息和所述在线事件数据的第二关键信息，其中，所述第一关键信息为所述历史事件数据所包含的关键字的概率分布，所述第二关键信息为所述在线事件数据所包含的关键字的概率分布；根据所述第一关键信息和所述第二关键信息确定所述概念漂移值。6.根据权利要求1所述的类别预测模型的训练方法，其特征在于，在根据所述软标签数据、所述样本事件数据以及根据所述概念漂移值、所述软标签数据和所述样本事件数据所构建的损失函数，训练所述初始类别预测模型所包含的知识蒸馏学生模型之前，还包括：基于所述概念漂移值确定损失函数参数，并根据所述损失函数参数确定所述软标签数据的第一权重和所述样本事件数据的第二权重；基于所述软标签数据、所述第一权重、所述样本事件数据和所述第二权重构建所述损失函数。7.根据权利要求6所述的类别预测模型的训练方法，其特征在于，根据所述软标签数2CN115994611A权利要求书2/3页据、所述样本事件数据以及根据所述概念漂移值、所述软标签数据和所述样本事件数据所构建的损失函数，训练所述初始类别预测模型所包含的知识蒸馏学生模型，得到目标类别预测模型，包括：将所述软标签数据、所述样本事件数据作为训练数据对所述知识蒸馏学生模型进行网络训