基于层次注意力模型的文本分类研究.docx

40本科毕业设计（论文）学院(部)计算机科学与技术学院题目基于层次注意力模型的文本分类研究年级2014级专业计算机科学与技术班级14计科学号1427405017姓名沈家赟指导老师李军辉职称副教授论文提交日期2018年5月18日苏州大学本科生毕业设计（论文）目录前言1第一章绪论21.1研究背景及意义21.2文本分类概述41.3本文的主要工作及创新点61.4本文的组织结构6第二章文本分类技术82.1文本分类系统的主要结构82.1.1预处理82.1.2文本表示82.1.3分类器92.2文本分类的主要技术92.2.1基于线性方法的文本分类技术92.2.2基于支持向量机的文本分类技术102.2.3基于神经网络的文本分类技术112.3文本分类技术对比分析132.3.1对比数据集132.3.2数据对比与分析14第三章基于层次注意力模型的文本分类163.1概述163.2文本表示模型183.2.1基于门式循环单元的序列编码器183.2.2层次注意力网络193.3分类器模型223.4实验223.4.1数据集223.4.2TensorFlow框架233.4.3训练、调参等实验细节说明233.4.4实验结果及分析243.5可视化分析253.5.1Yelpreview与情感分析253.5.2YahooAnswers与主题标记26第四章基于结构化自注意句嵌入的层次注意力模型的文本分类274.1概述274.2文本表示模型284.2.1结构化自注意句嵌入结构及计算模型284.2.2结构化自注意句嵌入的惩罚项294.2.3在层次注意力网络中引入结构化自注意句嵌入304.3分类器模型314.4实验324.4.1数据集324.4.2训练、调参等实验细节说明324.4.3实验结果及分析33第五章总结与展望365.1总结365.2展望36参考文献38致谢40摘要互联网的普及改变了人的生活方式。电子邮件、在线新闻、网上问答、电子商务等越来越多的互联网服务在提供便利丰富生活的同时，也快速产生着数量庞大、内容丰富的文本信息资源，并催生了大数据的概念。文本分类技术通过计算机实现高速的文本自动分类，对检索、组织和管理当今的海量文本数据有着重要的现实意义。基于深度学习的文本分类是近年来文本分类的研究热点。卷积神经网络、循环神经网络及长短时记忆、门式循环单元等新模型提升了文本特征提取的准确程度，推动了文本分类研究的进一步发展。注意力机制对文本中的词或句结合上下文施以不同注意程度，实现了更精细、更准确的文本特征提取。层次注意力网络模型更是建立了文本-句-词多级的层次结构，并引入了词、句级注意力机制。实验表明，基于层次注意力网络的文本分类实现了文本分类准确率水平的新高度。结构化自注意句嵌入作为最近提出的句嵌入模型，旨在通过矩阵结构实现具备自注意能力的句嵌入模型，以此提取句子中侧重于不同层面的多重语义，为本文的创新尝试提供了理论基础。本文的主要工作包含：研究并基于TensorFlow机器学习框架实现了基于层次注意力网络的文本分类技术，进行了实验验证并对层次注意力进行了可视化输出与分析。研究并引入了结构化自注意句嵌入模型以尝试对层次注意力网络模型实现改进创新。本文实现了基于结构化自注意句嵌入的层次注意力网络模型，进行了多组实验，并展开了对比分析。关键词：文本分类；注意力机制；层次注意力网络；结构化自注意句嵌入AbstractOurwayoflifehasbeengreatlytransformedduetotheproliferationoftheInternetservices.TheInternetservices,e.g.e-mail,onlinenews,onlineQ&A,e-commerceandetc.,notonlyprovidelifeconvenience,butalsooutputrich-contenttextinformationresourcesinlargequantities,whichbreedstheconceptofBigData.Textclassificationtechnologiesrealizehigh-speedautoclassificationfortextswiththepowerofcomputer,makinggreatrealisticsignificanceinretrieving,organizingandmanagingmassivetextdata.Inrecentyears,textclassificationbasedondeeplearninghasbeenoneoftheresearchfocusintextclassificationarea.Newmodels,e.g.ConvolutionalNeuralN