一种文本分类方法、装置、处理设备和票据分类系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111538766A(43)申请公布日2020.08.14(21)申请号202010423351.9(22)申请日2020.05.19(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人张洪(74)专利代理机构北京三友知识产权代理有限公司11127代理人周达刘飞(51)Int.Cl.G06F16/2458(2019.01)G06F16/35(2019.01)G06F40/20(2020.01)权利要求书3页说明书18页附图5页(54)发明名称一种文本分类方法、装置、处理设备和票据分类系统(57)摘要本说明书提供一种文本分类方法、装置、处理设备和票据分类系统。一个方法实施例中，可以利用一个或多个模型算法对文本数据进行调优，增加文本覆盖度，增加文本质量，从而整体提升分类准确性。本说明书实施例方案可以快速构建轻量级文本分类方案，并将多个模型的分类结果合并后作为输出，不但处理文本的质量得到提升，输出结果更加可靠，而且整体模型简单、复杂度低，能够快速迭代产生分类结果，提高了分类模型构建效率和文本分类处理效率。CN111538766ACN111538766A权利要求书1/3页1.一种文本分类方法，包括：获取待处理文本，所述待处理文本包括文本内容所属的分类标签；利用预选的词义模型算法对所述待处理文本进行数据增强处理，生成增强处理文本，所述数据增强处理至少包括确定和/或纠正待处理文本所属的分类标签、产生新的数据中的一种；利用预选的语义模型算法对所述增强处理文本进行文本分类，生成语义分类文本；将所述增强处理文本的词义分类文本和所述语义分类文本进行合并，确定文本分类结果。2.如权利要求1所述的方法，所述利用预选的词义模型算法对所述待处理文本进行数据增强处理，生成增强处理文本，包括：基于待处理文本之间的相似度，确定待处理文本的相似文本序列；基于所述待处理文本的相似文本序列，利用KNN算法输出包含文本和文本所属第一标签的第一类文本；以待处理文本为网络节点、所述相似度为网络中节点和节点之间的边，利用LPA算法进行迭代计算，输出包含文本和文本所属第二标签的第二类文本；将所述第一类文本和第二类文本加权合并后，输出增强处理文本。3.如权利要求2所述的方法，所述利用预选的语义模型算法对所述增强处理文本进行文本分类，生成语义分类文本，包括：利用FastText算法对所述增强处理文本进行文本分类，输出包含文本和文本所属第三标签的第三类文本；相应的，所述将所述增强处理文本的词义分类文本和所述语义分类文本进行合并，确定文本分类结果，包括：将所述第一类文本、第二类文本、第三类文本合并后，输出文本分类结果。4.如权利要求2或3所述的方法，还包括：利用KNN算法对所述增强处理文本进行分类，得到第一分类结果；利用LPA算法对所述增强处理文本进行分类，得到第二分类结果；相应的，所述将所述增强处理文本的词义分类文本和所述语义分类文本进行合并，确定文本分类结果包括：将所述第一分类结果、第二分类结果、语义分类结果进行加权合并后，确定所述待处理文本的分类结果。5.如权利要求2所述的方法，所述进行加权合并后，确定所述待处理文本的分类结果，包括：根据模型算法的权重对分类结果中的可信度分值进行加权计算；选择加权计算后可信度分值最高的分类标签作为所待处理文本的分类标签。6.如权利要求2所述的方法，在计算出待处理文本之间的相似度之后，所述方法还包括：删除所述相似度低于设置的最低相似阈值的相似文本序列。7.如权利要求2所述的方法，所述方法还包括：将待处理文本的邻居节点按照一定比例或数量进行裁剪。8.如权利要求1所述的方法，所述方法还包括：2CN111538766A权利要求书2/3页获取待处理文本的分词，统计分词中单词的文档频度；根据所述单词的文档频度对单词进行分桶。9.如权利要求8所述的方法，所述方法还包括：构建m×n的虚拟矩阵，将分桶中的数据分发到所述虚拟矩阵的网格中执行并行计算。10.一种文本分类装置，包括：文本获取模块，用于获取待处理文本，所述待处理文本包括文本内容所属的分类标签；词义增强模块，用于利用预选的词义模型算法对所述待处理文本进行数据增强处理，生成增强处理文本，所述数据增强处理至少包括确定和/或纠正待处理文本所属的分类标签、产生新的数据中的一种；语义分类模块，用于利用预选的语义模型算法对所述增强处理文本进行文本分类，生成语义分类文本；融合输出模块，用于将所述增强处理文本的词义分类文本和所述语义分类文本进行合并，确定文本分类结果。11.如权利要求10所述的装置，所述词义增强模块包括：相似计算模块，用于基于待处理文本之间的相似度，确定待