基于特征编码器的训练方法及装置、分类方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112115268A(43)申请公布日2020.12.22(21)申请号202011039098.3(22)申请日2020.09.28(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人陈晓军崔恒斌(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人林锦辉刘景峰(51)Int.Cl.G06F16/35(2019.01)G06N20/00(2019.01)权利要求书3页说明书12页附图5页(54)发明名称基于特征编码器的训练方法及装置、分类方法及装置(57)摘要本说明书实施例提供了一种基于特征编码器的训练方法及装置、分类方法及装置。在该方法中，获取当前训练样本，将当前训练样本以及用于分类的多个文本类别分别输入特征编码器，输出各个当前训练样本对应的样本特征向量以及多个文本类别对应的分类矩阵；基于输出的样本特征向量以及分类矩阵得到当前训练样本针对各个文本类别的预测值；以及在不满足循环结束条件时，根据所得到的预测值和当前训练样本的真实分类类别对特征编码器的编码器参数进行调整，调整后的特征编码器作为下一次循环的特征编码器。CN112115268ACN112115268A权利要求书1/3页1.一种用于对输出分类矩阵的特征编码器进行训练的方法，包括：执行下述循环训练过程，直至满足循环结束条件：获取用于当前循环的当前训练样本；将所述当前训练样本以及用于分类的多个文本类别分别输入待训练的特征编码器，输出各个当前训练样本对应的样本特征向量以及所述多个文本类别对应的分类矩阵，其中，所述分类矩阵由输入所述特征编码器的各个文本类别对应的类别特征向量构成；基于输出的样本特征向量以及分类矩阵得到所述当前训练样本针对各个文本类别的预测值；以及在不满足所述循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数进行调整，调整后的特征编码器作为下一次循环的特征编码器。2.如权利要求1所述的方法，还包括：针对每个当前训练样本，从文本类别库中确定与该当前训练样本匹配的指定数量的文本类别；以及将所述当前训练样本以及用于分类的多个文本类别分别输入待训练的特征编码器，输出各个当前训练样本对应的样本特征向量以及所述多个文本类别对应的分类矩阵包括：将所述当前训练样本以及所确定的文本类别分别输入待训练的特征编码器，得到各个当前训练样本对应的样本特征向量以及所确定的文本类别对应的分类矩阵。3.如权利要求2所述的方法，其中，针对每个当前训练样本，从文本类别库中确定与该当前训练样本匹配的指定数量的文本类别包括：针对每个当前训练样本，使用召回算法从文本类别库中确定与该当前训练样本匹配的指定数量的文本类别。4.如权利要求2所述的方法，其中，基于输出的样本特征向量以及分类矩阵得到所述当前训练样本针对各个文本类别的预测值包括：基于输出的样本特征向量、分类矩阵以及所确定的文本类别对应的偏置矩阵得到所述当前训练样本针对所确定的各个文本类别的预测值；以及在不满足所述循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数进行调整包括：在不满足所述循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数以及所述偏置矩阵进行调整。5.如权利要求2所述的方法，其中，训练使用的所有训练样本对应的真实分类类别包括所述文本类别库中的全部或者大部分类别。6.如权利要求2所述的方法，还包括：在所述当前训练样本有多个时，对所确定的所有文本类别进行去重处理。7.如权利要求1所述的方法，其中，所述循环结束条件包括：针对所述训练使用的全部训练样本的迭代次数达到指定次数，和/或针对所述训练使用的全部训练样本的预测准确率不再上升。8.一种使用特征编码器进行文本分类的方法，包括：获取待分类文本；2CN112115268A权利要求书2/3页从文本类别库中确定与所述待分类文本匹配的指定数量的文本类别；将所述待分类文本和所确定的文本类别输入经过训练的特征编码器，输出所述待分类文本对应的特征向量以及所述文本类别对应的分类矩阵，其中，所述分类矩阵由各个文本类别对应的类别特征向量构成；以及基于输出的特征向量和分类矩阵预测所述待分类文本的文本类别。9.一种用于对输出分类矩阵的特征编码器进行训练的装置，包括：训练样本获取单元，获取用于当前循环的当前训练样本；特征向量化单元，将所述当前训练样本以及用于分类的多个文本类别分别输入待训练的特征编码器，输出各个当前训练样本对应的样本特征向量以及所述多个文本类别对应的分类矩阵，其中，所述分类矩阵由输入所述特征编码器的各个文本类