基础分类模型的训练方法、装置和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111339308A(43)申请公布日2020.06.26(21)申请号202010439816.X(22)申请日2020.05.22(71)申请人支付宝（杭州）信息技术有限公司地址310007浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人潘寅旭谢杨易袁翔张伟陈岑代世喆(74)专利代理机构北京汇思诚业知识产权代理有限公司11444代理人冯伟(51)Int.Cl.G06F16/35(2019.01)G06N3/04(2006.01)权利要求书3页说明书12页附图5页(54)发明名称基础分类模型的训练方法、装置和电子设备(57)摘要本说明书提出了一种基础分类模型的训练方法、装置和电子设备，其中，上述方法包括：获取本轮训练语句样本，以进行本轮训练，对所述本轮训练语句样本进行向量转换，得到本轮训练语句向量；将所述本轮训练语句向量与预置业务标签向量输入预置基础分类模型中进行训练，得到本轮训练语句样本的类别概率；根据所述类别概率进行计算，得到本轮训练的损失，根据所述本轮训练的损失更新所述预置业务标签向量，以进行下一轮训练；通过本说明书提供的方法可以实现无监督的训练，由此可以提高训练的效率，并进一步提高分类的准确度。CN111339308ACN111339308A权利要求书1/3页1.一种基础分类模型的训练方法，包括：获取本轮训练语句样本，以进行本轮训练，对所述本轮训练语句样本进行向量转换，得到本轮训练语句向量；将所述本轮训练语句向量与预置业务标签向量输入预置基础分类模型中进行训练，得到本轮训练语句样本的类别概率；根据所述类别概率进行计算，得到本轮训练的损失，根据所述本轮训练的损失更新所述预置业务标签向量，以进行下一轮训练。2.根据权利要求1所述的方法，所述对所述本轮训练语句样本进行向量转换，得到本轮训练语句向量包括：对所述本轮训练语句样本进行词向量转换，得到与所述本轮训练语句样本对应的多个词向量；对与所述本轮训练语句样本对应的所有所述词向量进行均值计算，得到本轮训练语句向量。3.根据权利要求1所述的方法，所述将所述本轮训练语句向量与预置业务标签向量输入预置基础分类模型中进行训练，得到本轮训练语句样本的类别概率包括：获取预置业务标签向量集合，其中，所述预置业务标签向量集合包括多个预置业务标签向量；在预置基础分类模型中将所述本轮训练语句向量分别与每个所述预置业务标签向量进行计算，得到与每个所述预置业务标签向量对应的本轮训练语句标量；根据每个所述预置业务标签向量对应的本轮训练语句标量获得与每个所述本轮训练语句标量对应的类别概率。4.根据权利要求3所述的方法，所述根据所述类别概率进行计算，得到本轮训练的损失包括：根据所述类别概率、所述本轮训练语句向量及所述预置业务标签向量进行计算，得到本轮训练的相关性损失及召回率损失，其中，所述相关性损失用于表征本轮预测结果与所述本轮训练语句样本之间的相关程度，所述召回率损失用于表征所述本轮训练语句样本的易分类程度；将所有所述预置业务标签向量组成向量矩阵，根据所述向量矩阵进行计算，得到正交性损失，其中，所述正交性损失用于表征业务标签之间的关联程度。5.根据权利要求4所述的方法，所述根据所述本轮训练的损失更新所述预置业务标签向量包括：根据本轮训练的所述相关性损失、所述召回率损失及所述正交性损失中的一个或多个对与所述预置业务标签向量对应的关键词权重进行更新，其中，所述关键词权重用于与对应的预置关键词向量进行加权计算，以得到预置业务标签向量。6.根据权利要求4所述的方法，所述根据所述本轮训练的损失更新所述预置业务标签向量之后，还包括：根据本轮训练的所述相关性损失、所述召回率损失及所述正交性损失中的一个或多个对所述预置基础分类模型的参数进行更新，其中，所述预置基础分类模型的参数用于对所述本轮训练语句向量与预置业务标签向量进行运算，以得到本轮训练语句标量。2CN111339308A权利要求书2/3页7.一种基础分类模型的训练装置，包括：获取模块，用于获取本轮训练语句样本，以进行本轮训练，对所述本轮训练语句样本进行向量转换，得到本轮训练语句向量；训练模块，用于将所述本轮训练语句向量与预置业务标签向量输入预置基础分类模型中进行训练，得到本轮训练语句样本的类别概率；第一反馈模块，用于根据所述类别概率进行计算，得到本轮训练的损失，根据所述本轮训练的损失更新所述预置业务标签向量，以进行下一轮训练。8.根据权利要求7所述的装置，所述获取模块包括：转换单元，用于对所述本轮训练语句样本进行词向量转换，得到与所述本轮训练语句样本对应的多个词向量；向量计算单元，用于对与所述本轮训练语句样本对应的所有所述词向量进行均值计算，得到本轮训练语句向量。9