一种基于深度学习的中文文本分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114912461A(43)申请公布日2022.08.16(21)申请号202210614817.2G06N3/08(2006.01)(22)申请日2022.05.31(71)申请人浙江工业大学地址310014浙江省杭州市拱墅区潮王路18号(72)发明人钱丽萍钱江王寅生张文杰王倩(74)专利代理机构浙江千克知识产权代理有限公司33246专利代理师赵芳(51)Int.Cl.G06F40/30(2020.01)G06F40/289(2020.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书2页说明书4页附图1页(54)发明名称一种基于深度学习的中文文本分类方法(57)摘要一种基于深度学习的中文文本分类方法，结合Word2Vec词向量与LDA词向量作为词嵌入以增强文本主题特征；编码阶段将自注意力机制以及RNN网络结合可以实现对文本进行深度语义特征提取的同时保留序列特征。本发明对于输入的一篇中文文本，运用系统模型，能够有效提升文本分类的准确率。本发明融合了Word2Vec词向量与LDA词向量作为词嵌入，并结合了循环神经网络(RNN)以及自注意力机制(Self‑Attention)的特征提取优势，极大程度上改善了文本分类准确率，从而使得人们的信息处理效率进一步提升。CN114912461ACN114912461A权利要求书1/2页1.一种基于深度学习的中文文本分类方法，其特征在于，所述方法包括以下步骤：1)首先对输入文本进行预处理操作，过程如下：去除停用词、特殊符号；利用Jieba中文分词工具进行分词处理，得到w1,w2,w3,···,wn，接着运用Word2Vec中文预训练模型输出每一个单词所对应的词向量，用c1,c2,c3,···,cn表示，词向量组c1,c2,c3,···,cn记作矩阵WC；运用训练好的LDA模型输出文本的主题‑词矩阵记为WT，最后将矩阵WC和矩阵WT按对应向量进行拼接操作得到n×dmodel维矩阵WE，dmodel为词向量维数，满足WE＝[WC,WT](1)2)将矩阵WE输入至编码器，首先进行位置编码得到矩阵P，计算过程说明如下：3)将矩阵P与矩阵WE相加得到最终的n×dmodel维词嵌入矩阵WI，公式如下：WI＝WE+P(3)4)将矩阵输入WI至自注意力机制，生成n×dmodel维矩阵M，公式如下：Q＝WI×WQ(5)K＝WI×WK(6)V＝WI×WV(7)其中，WQ、WK、WV为可训练dmodel维参数方阵，dk为可调超参数；5)将矩阵M和WI进行残差与归一化操作，得到n×dmodel维矩阵N1，公式如下：N1＝LayerNorm(Μ+WI)(8)6)将矩阵N1输入至前馈神经网络，得到n×dmodel维矩阵F，公式如下：F＝max(0,N2W1+B1)W2+B2(9)其中W1、W2为神经网络权重矩阵，B1、B2为神经网络偏置项；7)下一步，将矩阵WI输入至单隐藏层循环神经网络，将每一个时刻隐藏层输出向量保存，记为矩阵R1，dr为RNN网络维数；8)将矩阵R1进行线性变换为n×dmodel维矩阵公式如下其中，WL为dr×dmodel维可训练参数矩阵；9)将矩阵F、以及N1进行残差和归一化操作得到矩阵N2，公式如下10)取矩阵N2的首个向量输入至分类器，首先经过前馈神经网络，输出df维向量f，公式如下：f＝(vCLS·w1+b1)w2+b2(12)2CN114912461A权利要求书2/2页其中，vCLS为N2的首个向量，w1、w2为神经网络权重，b1、b2为神经网络偏置项，df为神经网络维数；11)将向量f元素进行Softmax运算，数值最大的维度便对应文本类别yp，公式如下：yp＝softmax(f)(13)12)通过交叉熵损失函数来训练模型参数，模型参数包括矩阵元素与神经网络权重及偏置项，损失函数如下所示：其中，M为训练样本总数，yt为真实类别，yp为预测类别。3CN114912461A说明书1/4页一种基于深度学习的中文文本分类方法技术领域[0001]本发明属于人工智能领域，尤其是一种基于深度学习的中文文本分类方法。背景技术[0002]随着近年来网络信息的爆炸式增长，错综复杂的文本信息充斥着人们的生活。为了提高人们处理和理解信息的效率，有人运用文本分类技术对文本信息进行分门别类，从而提高阅读的效率。但是，基于传统机器学习的文本分类模型，如隐马尔可夫模型，决策树模型等难以对文本深度提取语义特征，无法满足文本分类高准确率的要求，近年来有学者提出基于深度神经网络来进行文本分类，使得分类效果较传统机器学习方法有了一定的进步。发明内容[0003]为了解决传统机器学习方法无法提取语义特征，导致分类准确率低的不足，本发明