利用单词超团的二分图文本聚类算法的任务书.docx

利用单词超团的二分图文本聚类算法的任务书
任务背景:
随着互联网的蓬勃发展，文本数据规模逐渐增长，如何从大量文本数据中快速准确地提取出有用的信息成为了一项重要的挑战。文本聚类作为文本挖掘的重要领域之一，已经被广泛应用于情感分析、用户兴趣挖掘、新闻推荐、社交网络分析等方面。
任务描述：
本次任务要求实现单词超团的二分图文本聚类算法。
具体要求如下：
1.根据给定的文本集，构建单词超图：将文本中的词语视为节点，如果两个词语在任意文本中同时出现，则在它们之间连一条边，将所有相邻的边称为联通片，联通片中的词语被称为超节点。
2.根据超图，构建二分图：将所有超节点分为两个集合，使每个联通片中的节点属于不同的集合，从而构成一个二分图。
3.利用最大流算法，在二分图上寻找最大权匹配，从而将相似的超节点归为一类，实现文本聚类。
4.对于单个文本的分类，计算该文本中每个单词所属的超节点在聚类结果中的权重，最终将该文本归为权重最大的那一类。
5.实现算法并在给定的文本集上进行聚类，根据聚类结果对文本集进行可视化展示。
6.对算法进行评估，包括聚类效果、算法复杂度等方面的指标。
任务要求：
1.使用Python编写代码，利用相关库实现任务要求。
2.使用JupyterNotebook进行代码展示与结果分析，撰写代码注释，并体现代码规范性。
3.参考论文《BuildingTextClusteringModelswithRelationalTopicModel》进行算法实现。
4.在提交作业时，需提交JupyterNotebook代码文件、数据集和相关结果文件。
5.完成任务后，应对所完成的方法进行总结与分析，给出可行的改进意见。
任务评分细则：
1.算法实现是否正确，JupyterNotebook是否能够很好地展示算法与统计结果。
2.代码注释和可读性是否良好，是否符合规范。
3.聚类效果如何，以聚类正确率和F1值作为主要评价指标。
4.算法时间和空间复杂度如何，是否能够同时满足效率和准确性的要求。
5.对改进意见的提出是否具有可行性，是否有利于算法的提高。