基于自注意力机制和卷积神经网络的文本分类算法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113297380A(43)申请公布日2021.08.24(21)申请号202110582336.3(22)申请日2021.05.27(71)申请人长春工业大学地址130012吉林省长春市长春高新技术开发区北区北远达大街3000号长春工业大学北湖西校区(72)发明人郑虹秦硕郑肇谦(51)Int.Cl.G06F16/35(2019.01)G06N3/04(2006.01)权利要求书2页说明书4页附图1页(54)发明名称基于自注意力机制和卷积神经网络的文本分类算法(57)摘要本发明公开了基于自注意力机制和卷积神经网络的新闻文本分类算法，本算法的目的是将新闻内容进行分类处理。该方法的步骤主要包括：摘要抽取，构建词向量，向量拼接与融合，进行多头自注意力计算，特征提取计算卷积和池化，特征提取后向量计算进行分类。文本分类算法往往只考虑短文本的特征提取，对于长文本的分类方法基本使用截断式，但截断式方法会大幅降低特征提取的准确性。基于以上考虑，本发明提出了在文本处理阶段对长本文新闻进行摘要抽取处理，这样既能保留源文本的特征信息，也能降低时间复杂度。经过自注意力和卷积网络后更能使分类任务准确。CN113297380ACN113297380A权利要求书1/2页1.基于自注意力机制和卷积神经网络的新闻文本分类算法，包括如下步骤：步骤S1：摘要抽取针对新闻正文内容过长，使用BertSum算法进行摘要抽取，作为正文输入;步骤S2：构建词向量将新闻的标题和抽取出的摘要分别输入ERNIE预训练模型，分别得到二者词向量分别为和;步骤S3：向量拼接与融合将构建好的标题向量和摘要向量进行矩阵拼接；送入一个全连接层，得到融合后的向量;步骤S4：进行多头自注意力计算多头自注意力机制可以简单有效的对上下文依赖关系进行抽象，并捕获句法和语义特征；具体说，输入矩阵Q、K、V对应注意力计算的三个重要组件；进行特征提取;步骤S5：卷积和池化将向量送入卷积神经网络进一步进行特征提取，卷积神经网络主要由五部分组成：输入层、卷积层、池化层、全连接层和输出层；其中卷积层和池化层是卷积神经网络所特有的结构，进行特征提取的结构；步骤S6：进行分类经过特征提取后的向量送入全连接层然后使用Softmax进行单标签分类；获取类别。2.根据权利要求1所述的基于自注意力机制和卷积神经网路的新闻文本分类算法，其特征在于：步骤S1的进行摘要抽取的方法为基于摘要与原文档在语义上应该有较大匹配度的考量，本方法提出了基于候选句间的组合句与原文档的相似度来判断文档摘要的抽取结果；经过本步骤之后将正文长文本摘要成短文本后进行其他步骤可以节省大量时间。3.根据权利要求1所述的基于自注意力机制和卷积神经网路的新闻文本分类算法，其特征在于：步骤S4中的将进行多头注意力计算方法为：利用多头自注意力机制词向量进行特征抽取，以对文本上下文内部语义结构进行有效建模，充分挖掘高层语义特征；多头注意力机制可以简单有效的对上下文依赖关系进行抽象，并捕获句法和语义特征；具体说，输入矩阵Q、K、V对应注意力(attention)计算的三个重要组件，分别query，key，value，由于是自注意力机制，所以其中作为Q，K，V一般框架下的标准attention计算过程如下：其中表示概率对齐函数，采用ScaledDotProduct，其中为矩阵的维度：在多头注意力机制中，输入特征通过不同的权值矩阵被线性映射到不同的信息子空2CN113297380A权利要求书2/2页间，并在每个子空间完成相同的注意力计算，以对文本潜在的结构和语义进行充分提取，其中第i头注意力计算过程如下,：最后将各个head进行合并，产生多头自注意力机制的输出,设注意力的头数为m头:则经过多头注意力计算得到H：。4.根据权利要求1所述的基于自注意力机制和卷积神经网路的新闻文本分类算法，其特征在于：利用卷积和池化在进一步进行特征提优，其中卷积输出计算过程如下：其中，f为激活函数，F为滤波器，b为偏置项，l为滑动窗口大小,为由第i到第i+l‑1个词组成的特征矩阵作为第i个卷积核的输出，计算过程如下:池化操作，通过第i个卷积核计算获取的文本特征作为池化层的输入，对获取的特征进一步筛选，得到更重要的特征；使用最大池化操作操作，为第i个卷积核池化后的结果，计算如下:最后获得我们经过池化和卷积的向量,其中r为卷积核的数量，向量P进行全连接和分类，将池化后最终得到的特征向量作为全连接层的输入，再利用最后一层的softmax分类器进行文本所属类别的概率计算，完成文本分类任务；其中是用来预测文本类别的，其中，函数argmax计算导致概率值最大的文本类别标签；最后输出类别。3CN113297380A说明书1/4页基