预测模型的训练方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113762501A(43)申请公布日2021.12.07(21)申请号202110424701.8(22)申请日2021.04.20(71)申请人京东城市（北京）数字科技有限公司地址100086北京市海淀区知春路76号(写字楼)1号楼9层1-7-5号(72)发明人易修文段哲文(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人王萌(51)Int.Cl.G06N3/08(2006.01)G06Q10/04(2012.01)权利要求书3页说明书9页附图5页(54)发明名称预测模型的训练方法、装置、设备和存储介质(57)摘要本发明提出一种预测模型的训练方法和装置、设备和存储介质，其中，方法包括：获取多个源域数据；其中，多个源域数据包括源标签；将多个源域数据输入神经网络进行训练，获取第一预测结果，根据第一预测结果和源标签调整神经网络的网络参数，以生成预训练模型；获取目标域数据，其中，目标域数据包括目标标签；将目标域数据输入预训练模型进行训练，获取第二预测结果，根据第二预测结果和目标标签调整预训练模型的网络参数，以生成目标域的预测模型。由此，通过源域的数据进行预训练获取预训练模型，并通过目标域的数据对预训练模型的参数进行微调，生成预测模型以实现数据量很少的情况下也能够准确预测。CN113762501ACN113762501A权利要求书1/3页1.一种预测模型的训练方法，其特征在于，包括以下步骤：获取多个源域数据；其中，所述多个源域数据包括源标签；将所述多个源域数据输入神经网络进行训练，获取第一预测结果，根据所述第一预测结果和所述源标签调整所述神经网络的网络参数，以生成预训练模型；获取目标域数据，其中，所述目标域数据包括目标标签；将所述目标域数据输入所述预训练模型进行训练，获取第二预测结果，根据所述第二预测结果和所述目标标签调整所述预训练模型的网络参数，以生成目标域的预测模型。2.如权利要求1所述的方法，其特征在于，所述将所述多个源域数据输入神经网络进行训练，获取第一预测结果，包括：通过所述神经网络的特征提取网络对所述多个源域数据进行处理，以生成多个源域特征；通过所述神经网络的独立子网络和多个特有子网络分别对所述多个源域特征进行处理，以生成源域共享特征和多个源域特有特征；将所述源域共享特征和每个所述源域特有特征进行拼接后输入预测器，获取所述第一预测结果。3.如权利要求1所述的方法，其特征在于，所述将所述目标域数据输入所述预训练模型进行训练，获取第二预测结果，包括：通过所述预训练模型的特征提取网络对所述目标域数据进行处理，以生成目标域特征；通过所述预训练模型的目标域源域记忆网络、独立子网络和特有子网络分别对所述目标域特征进行处理，以生成目标域源域共享特征和目标域特有特征；将所述目标域源域相关特征、所述目标域共享特征和每个所述目标域特有特征进行拼接后输入预测器，获取所述第二预测结果。4.如权利要求1‑3任一项所述的方法，其特征在于，通过所述预训练模型的目标域源域记忆网络和特有子网络对所述目标域特征进行处理，以生成所述目标域源域共享特征，包括：所述目标域源域记忆网络对所述目标域特征进行处理，获取源域目标域历史相关特征；所述特有子网络的记忆网络对所述目标域特征进行检索，获取多个记忆表达特征；根据所述源域目标域历史相关特征和所述多个记忆表达特征进行计算，获取所述目标域源域共享特征。5.如权利要求4所述的方法，其特征在于，所述特有子网络的记忆网络对所述目标域特征进行检索，获取多个记忆表达特征，包括：对所述目标域特征与所述记忆网络中每个记忆单元进行相似度计算，获取多个相似度；根据每个所述相似度和已存储记忆特征矩阵进行计算，以生成所述多个记忆表达特征。6.一种预测模型的训练装置，其特征在于，包括：第一获取模块，用于获取多个源域数据；其中，所述多个源域数据包括源标签；2CN113762501A权利要求书2/3页第一训练模块，用于将所述多个源域数据输入神经网络进行训练，获取第一预测结果；第一生成模块，用于根据所述第一预测结果和所述源标签调整所述神经网络的网络参数，以生成预训练模型；第二获取模块，用于获取目标域数据，其中，所述目标域数据包括目标标签；第二训练模块，用于将所述目标域数据输入所述预训练模型进行训练，获取第二预测结果；第二生成模块，用于根据所述第二预测结果和所述目标标签调整所述预训练模型的网络参数，以生成目标域的预测模型。7.如权利要求6所述的装置，其特征在于，所述第一训练模块，具体用于：通过所述神经网络的特征提取网络对所述多个源域数据进行处理，以生成多个源域特征；通过所述神经网络的独立子网络和多个特有子网络分别对所述多个源域特征进行处理，以生成源