基于预训练模型变种的新闻文本分类方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113987171A(43)申请公布日2022.01.28(21)申请号202111222503.XG06F16/951(2019.01)(22)申请日2021.10.20G06F40/205(2020.01)G06N3/04(2006.01)(71)申请人绍兴达道生涯教育信息咨询有限公G06N3/08(2006.01)司地址312399浙江省绍兴市上虞区曹娥街道江西路2288号浙大网新科技园A2幢808室申请人杭州电子科技大学(72)发明人黄孝喜童伟王荣波谌志群姚金良(74)专利代理机构杭州求是专利事务所有限公司33200代理人傅朝栋张法高(51)Int.Cl.G06F16/35(2019.01)权利要求书1页说明书5页附图2页(54)发明名称基于预训练模型变种的新闻文本分类方法及系统(57)摘要本发明公开了一种基于预训练模型变种的新闻文本分类方法及系统，属于文本分类领域。本发明采用BERT和RNN复合模型对数据集中的特征进行有效提取，对于已经经过预训练的BERT模型，其广泛适用于下游任务的各个集合，不需要利用重复数据进行训练，同时基于self‑attention机制可以有效的可以不仅可以得到源端与目标端词与词之间的依赖关系，同时还可以有效获取源端或目标端自身词与词之间的依赖关系。在此基础上，引入了RNN模型，用于捕捉长距离文本依赖上信息丢失的问题，对结果进行特征融合，在新闻文本分类上取得了较为理想的效果。CN113987171ACN113987171A权利要求书1/1页1.一种基于预训练模型变种的新闻文本分类方法，其特征在于，包括如下步骤：S1、获取标注有类别标签的新闻文本语料，形成分类语料库；S2、利用所述分类语料库对新闻文本分类模型进行训练，所述新闻文本分类模型基于预训练模型BERT和循环神经网络RNN组成模型框架，首先将新闻文本处理为相同长度的句向量，然后输入预训练模型BERT中进行转换得到词向量矩阵，再将词向量矩阵传入循环神经网络RNN中，由卷积层和池化层进行二次特征提取得到语义特征向量，语义特征向量最终通过全连接层和Softmax层后输出新闻文本的分类结果；S3、将待分类的新闻文本输入训练后的新闻文本分类模型中，输出新闻文本的分类结果。2.如权利要求1所述的基于预训练模型变种的新闻文本分类方法，其特征在于，所述S1中，利用爬虫爬取新闻网站中的新闻主题作为文本信息，利用新闻网站的分类新闻窗口对文本进行分类，得到分类语料库。3.如权利要求1所述的基于预训练模型变种的新闻文本分类方法，其特征在于，所述新闻文本在处理为句向量时，若小于标准句向量长度则在末尾用0进行补全填充，若大于标准句向量长度则通过切割将其划分为标准句向量长度。4.如权利要求1所述的基于预训练模型变种的新闻文本分类方法，其特征在于，所述预训练模型BERT通过将BERT模型在无标注的中文文本数据集上进行微调后得到。5.如权利要求1所述的基于预训练模型变种的新闻文本分类方法，其特征在于，输入新闻文本分类模型的文本需预先对句子中的标点符号进行剔除。6.一种基于预训练模型变种的新闻文本分类系统，其特征在于，包括：数据获取模块：用于获取标注有类别标签的新闻文本语料，形成分类语料库；模型训练模块：用于利用所述分类语料库对新闻文本分类模型进行训练，所述新闻文本分类模型基于预训练模型BERT和循环神经网络RNN组成模型框架，首先将新闻文本处理为相同长度的句向量，然后输入预训练模型BERT中进行转换得到词向量矩阵，再将词向量矩阵传入循环神经网络RNN中，由卷积层和池化层进行二次特征提取得到语义特征向量，语义特征向量最终通过全连接层和Softmax层后输出新闻文本的分类结果；分类模块：用于将待分类的新闻文本输入训练后的新闻文本分类模型中，输出新闻文本的分类结果。7.如权利要求6所述的基于预训练模型变种的新闻文本分类系统，其特征在于，所述数据获取模块中，利用爬虫爬取新闻网站中的新闻主题作为文本信息，利用新闻网站的分类新闻窗口对文本进行分类，得到分类语料库。8.如权利要求6所述的基于预训练模型变种的新闻文本分类系统，其特征在于，所述新闻文本在处理为句向量时，若小于标准句向量长度则在末尾用0进行补全填充，若大于标准句向量长度则通过切割将其划分为标准句向量长度。9.如权利要求6所述的基于预训练模型变种的新闻文本分类系统，其特征在于，所述预训练模型BERT通过将BERT模型在无标注的中文文本数据集上进行微调后得到。10.如权利要求6所述的基于预训练模型变种的新闻文本分类系统，其特征在于，输入新闻文本分类模型的文本需预先对句子中的标点符号进行剔除。2CN113987171A说明书1/5页基于预训练模型变种的新