业务模型的训练和确定文本分类类别的方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111737474A(43)申请公布日2020.10.02(21)申请号202010691951.3(22)申请日2020.07.17(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人金铭民(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06F16/35(2019.01)G06F40/30(2020.01)G06N3/04(2006.01)权利要求书4页说明书16页附图4页(54)发明名称业务模型的训练和确定文本分类类别的方法及装置(57)摘要本说明书实施例提供一种业务模型的训练方法及装置，以及确定文本分类类别的方法及装置。具体实施时，一方面，将文本用编码网络处理，得到相应的语义向量，另一方面，将分类类别按照层级关系建立关系网络，并通过图神经网络处理该关系网络，以融合节点之间的信息，得到类别表达向量。然后，将文本的语义向量和类别表达向量相融合，确定分类类别的预测结果。在业务模型训练阶段，可以将该预测结果与样本标签进行对比，以确定损失并调整模型参数，在利用训练好的业务模型确定文本分类类别的阶段，则可以根据预测结果与确定相应的分类类别。这种实施方式可以提高文本分类准确度。CN111737474ACN111737474A权利要求书1/4页1.一种业务模型的训练方法，所述业务模型包括编码网络、融合层、全连接层，用于确定文本分类类别，所述方法包括：从训练样本集中获取第一文本，所述第一文本对应有文本标签，所述文本标签从多个候选类别中确定；利用所述编码网络处理所述第一文本，得到第一语义向量；经由图神经网络处理类别层级关系网络，得到各个候选类别分别对应的各个类别表达向量，所述类别层级关系网络包括与各个候选类别一一对应的各个节点，具有直接上下级关系的候选类别之间由连接边连接，各个节点分别对应有相应类别特征向量作为初始的节点表达向量，所述图神经网络用于对各个节点分别进行邻居节点的节点表达向量聚合，以更新相应的节点表达向量，各个类别表达向量分别为经所述图神经网络最后一层更新后的相应节点表达向量；经由所述融合层，基于所述第一语义向量融合各个类别表达向量，得到针对所述第一文本的第一融合向量；通过所述全连接层，基于所述第一融合向量与所述第一语义向量，得到针对所述第一文本所属分类类别的第一预测结果；以所述第一预测结果与所述文本标签相一致为目标，调整所述编码网络、所述图神经网络、融合层、全连接层中的模型参数，从而训练所述业务模型。2.根据权利要求1所述的方法，其中，所述第一文本对应有多个层级的候选类别，所述文本标签是其中最低层级的候选类别。3.根据权利要求1所述的方法，其中，所述第一语义向量与所述类别表达向量的维数均为s，所述经由所述融合层，基于所述第一语义向量融合各个类别表达向量，得到针对所述第一文本的第一融合向量包括：根据所述第一语义向量与各个类别表达向量的对比，确定各个类别表达向量分别与所述第一语义向量的各个第一相似度；利用各个第一相似度对各个类别表达向量加权求和，得到所述第一融合向量，其中，各个类别表达向量的权重与相应的第一相似度正相关。4.根据权利要求1所述的方法，所述候选类别的数量为n，所述第一语义向量与所述类别表达向量的维数均为s，所述经由所述融合层，基于所述第一语义向量融合各个类别表达向量，得到针对所述第一文本的第一融合向量包括：获取与所述第一语义向量对应的s维行向量，以及由n个类别表达向量依次排列组成的s行n列的类别向量矩阵；基于所述s维行向量与所述s行n列的类别向量矩阵的乘积，确定n维的中间向量；将所述n维中间向量中的各个元素，分别作为相应候选类别的加权权重，对各个类别表达向量加权平均，得到所述第一融合向量。5.根据权利要求1所述的方法，其中，所述通过所述全连接层，基于所述第一融合向量与所述第一语义向量，得到针对所述第一文本所属分类类别的第一预测结果包括：将所述第一融合向量与所述第一语义向量拼接，得到第一拼接向量；通过所述全连接层处理所述第一拼接向量，得到所述第一预测结果。6.根据权利要求1所述的方法，其中，所述以所述第一预测结果与所述文本标签相一致2CN111737474A权利要求书2/4页为目标，调整所述编码网络、所述图神经网络、融合层、全连接层中的模型参数，从而训练所述业务模型包括：利用交叉熵的方式确定所述第一预测结果相对于所述文本标签的损失；向所述损失减小的方向调整所述编码网络、所述图神经网络、融合层、全连接层中的模型参数。7.根据权利要求1所述的方法，在初始的各个类别特征向量为随机值的情况下，所述方法还包括：以所述第一