基于双向LSTM的动态情感词典构建方法研究.docx

基于双向LSTM的动态情感词典构建方法研究
摘要：
随着社交媒体和在线评论的普及，情感分析已成为自然语言处理领域中的一个重要领域。情感词典是情感分析中重要的资源，常被用来确定文本中词语的情感极性。本文提出一种基于双向LSTM的动态情感词典构建方法。该方法利用LSTM网络对语料库中的句子进行建模，并从每个句子中提取情感词，以此动态增强情感词典的覆盖率和准确性。实验结果表明，该方法能够有效地提高情感词典的性能，提高情感识别的准确性和效率。
1.引言
情感分析已成为自然语言处理中一个重要而受关注的领域。它旨在确定文本的情感极性，即正面、中性或负面。随着社交媒体和在线评论的普及，情感分析已经成为从社交媒体数据和在线评论等文本中提取情感信息的重要途径。
情感词典是情感分析中常用的资源，有助于确定文本中词语的情感极性。情感词典记录了一些词语的情感极性信息。这些词语被视为许多情感分析模型的基本元素，并用来计算文本的情感得分。因此，构建一个全面、准确的情感词典至关重要。
现有的情感词典构建方法通常受制于静态的内置情感词库。这种方法通常依靠人类领域专家或外在的情感词库来构建词典。但是，由于情感词汇数量的限制以及新的词汇和语言具有的多样性，静态情感词典容易出现一些漏洞和不足。因此，由此催生了我们使用LSTM网络构建动态情感词典的方法。
2.相关工作
近年来，情感词典的构建途径逐渐增多。在过去的几年中，研究者们采取了许多有趣的方法来构建情感词典。以下是一些相关工作的简要：
LiandLiu（2018）利用LSTM网络从大规模的语料库中提取情感词，并将它们归类到不同的语言学类别中。
Li等人（2017）为了提高情感词汇的准确性，采用了基于词典修正的情感词汇提取方法，并使用情感分类器的集成方法来进行细粒度情感分析。
Sun和Lee（2018）为了提高情感词库的准确性，提出了一种基于计算机视觉技术的情感词库构建方法。他们使用卷积神经网络（CNN）从图片中提取情感信息并生成情感词库。
然而，在先前的研究中，许多方法只考虑到了静态情感词库的构建思想。此外，这些方法也过于依赖特定的领域语料库，难以在其他领域中应用或扩展。因此，在这项研究中，我们提出了一种基于双向LSTM的动态情感词典构建方法。
3.方法
3.1双向LSTM网络
循环神经网络（RNN）是一种在自然语言处理（NLP）中广泛使用的神经网络，因为它能够捕捉序列之间的依赖关系。LSTM是RNN的一个变体，它能够解决长期依赖问题，实现对长文本的处理。
双向LSTM特别适用于情感词库的构建。因为情感词典的构建过程需要对每个词进行分类，因此需要考虑上下文信息。LSTM有完整的上下文信息，因此可以存储和理解句子中的背景信息。此外，由于LSTM可以在两个方向上完成训练，所以双向LSTM可以同时处理前向和后向上下文数据。
3.2情感词提取
我们的方法基于双向LSTM网络，在输入层之前加上嵌入层来表示文本。这样可以将句子转换为dense向量，有利于LSTM网络的训练。同时，我们还使用了dropout的技术来避免过拟合的问题。
在每个时间步，LSTM层将上一个时间步的信息传递给下一个时间步，同时产生输出h。我们可以在输出层中添加一个sigmoid激活函数，以获取每个单词的情感值，因为情感极性是二元的（正面或负面）。
在这个过程中，我们可以根据输出生成情感词表。具体来说，对于softmax层的输出，我们将其分类为正面或负面情感，并使用阈值进行过滤。比如说，我们将大于阈值0.5的输出视为正极性值。这样，我们可以识别出情感强度最强的词语，并将它们添加到情感词库中。
此外，在构建情感词库之前，我们还需要去除一些无意义的词，如停用词和一些无关紧要的词。为了避免漏掉可能是情感词的单词，我们还引入了一些因果词，例如“不”和“非常”，以便设计者可以使用我们的情感词库进行进一步的文本处理。
3.3动态更新情感词典
基于LSTM的动态构建方法可以自动更新情感词汇库。假设有新的文本数据被加入到原始数据集中，就可以通过模型再次训练以扩展情感词典。实质上，我们将新句子输入到LSTM模型中，以便识别其中的新的词语。我们将新的翻转情感词汇添加到词库中，并将其情感极性计算为正值。这样，我们就可以动态地扩展我们的情感词库，并使之更加完整、准确。
4.实验
4.1数据集
我们使用了两个流行的情感分析数据集：IMDB和MR。IMDB是一个电影评论数据集，包含50,000个电影评论，其中有25,000个评论是正面的，25,000个评论是负面的。MR数据集是从电影评论中提取出来的，包括10,662个电影评论，其中5,331个评论是正面的，5,331个评论是负面的。
4.2实验设置
我们使用Python编程语言和PyTorch开源框架来实现我们的LSTM模型。我