业务预测模型的训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113537630A(43)申请公布日2021.10.22(21)申请号202110890736.0(22)申请日2021.08.04(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人秦兴彬(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06Q10/04(2012.01)G06Q10/06(2012.01)G06K9/62(2006.01)权利要求书4页说明书10页附图2页(54)发明名称业务预测模型的训练方法及装置(57)摘要本说明书实施例提供一种业务预测模型的训练方法，该方法包括多轮迭代，其中第i轮迭代包括：获取当前训练样本集，其初始包括标注样本，且其中各个训练样本具有对应的类别标签和当前样本权重；利用从当前训练样本集中获取的多个训练样本训练业务预测模型，得到本轮训练后的业务预测模型；利用本轮训练后的业务预测模型，对从非标注样本集中获取的多个非标注样本进行处理，得到多个非标预测结果；基于多个非标预测结果，确定多个非标注样本中至少一部分样本的类别标签，从而形成新的训练样本，并将其添加到当前训练样本集；基于当前训练样本集中训练样本的类别标签分布，以及标注样本和非标注样本的统计分布，确定各个训练样本的当前样本权重。CN113537630ACN113537630A权利要求书1/4页1.一种业务预测模型的训练方法，所述业务预测模型用于执行针对业务对象的预测任务，所述方法包括多轮迭代，其中第i轮迭代包括：获取当前训练样本集，其初始包括标注样本集中的标注样本，并且，其中各个训练样本具有对应的类别标签和当前样本权重；利用从当前训练样本集中获取的多个训练样本和对应的多个当前样本权重，训练所述业务预测模型，得到本轮训练后的业务预测模型；利用所述本轮训练后的业务预测模型，对从非标注样本集中获取的多个非标注样本进行处理，得到多个非标预测结果；基于所述多个非标预测结果，确定所述多个非标注样本中至少一部分非标注样本的类别标签，从而形成新的训练样本；将该新的训练样本并入所述当前训练样本集；基于所述当前训练样本集中训练样本的类别标签分布，确定各种类别标签的当前类别权重；基于所述训练样本对应标注样本和非标注样本的统计分布，确定当前标注权重和当前非标注权重；基于所述当前类别权重、当前标注权重和当前非标注权重，确定所述训练样本的当前样本权重。2.根据权利要求1所述的方法，其中，所述标注样本集包括第一数量的具有第一类别标签的标注样本，还包括第二数量的具有第二类别标签的标注样本，所述第一数量与第二数量之间的比值小于预设数值。3.根据权利要求1或2所述的方法，其中，所述业务对象包括文本、图片、音频、用户、商品、商户、事件，所述业务预测对象用于预测所述业务对象的分类或回归值。4.根据权利要求1所述的方法，其中，所述第i轮为第1轮；其中，获取当前训练样本集，包括：获取所述标注样本集；基于所述标注样本集中标注样本的类别标签分布，确定所述各种类别标签的类别权重，作为对应标注样本的当前样本权重；基于所述标注样本集和标注样本的当前样本权重，构建所述当前训练样本集。5.根据权利要求1所述的方法，其中，利用从当前训练样本集中获取的多个训练样本和其对应的多个当前样本权重，训练所述业务预测模型，得到本轮训练后的业务预测模型，包括：利用所述业务预测模型处理所述多个训练样本，得到多个训练预测结果；基于所述多个训练预测结果和多个当前样本权重，确定训练损失；利用所述训练损失训练所述业务预测模型，得到所述本轮训练后的业务预测模型。6.根据权利要求1所述的方法，其中，基于所述多个非标预测结果，确定所述多个非标注样本中至少一部分非标注样本的类别标签，包括：针对各个非标注样本，若其对应的非标预测结果中针对某类别标签的预测概率落入该某类别标签所对应的预置概率区间，则将该某类别标签确定为该非标注样本的类别标签。7.根据权利要求6所述的方法，其中，所述预置概率区间的确定包括：根据预先设定的类别标签与置信度之间的映射关系，基于所述本轮训练后的业务预测模型，确定各种类别标签在其对应置信度下的概率区间。8.根据权利要求7所述的方法，其中，所述标注样本集包括第一数量的具有第一类别标2CN113537630A权利要求书2/4页签的标注样本，还包括第二数量的具有第二类别标签的标注样本，所述第一数量与第二数量之间的比值小于预设数值；在所述映射关系中，所述第一类别标签对应第一置信度，所述第二类别标签对应第二置信度，所述第一置信度小于第二置信度。9.根据权利要求1所述的方法，其中，基于所述当前训练样本集中训练样本的