预览加载中，请您耐心等待几秒...

一种基于Hadoop的分布式网络爬虫系统.pdf

预览
1/6
2/6
3/6
4/6
5/6
6/6

在线预览结束，喜欢就下载吧，查找使用更方便

下载提示 文本预览

如果您无法下载资料，请参考说明：

1、部分资料下载需要金币，请确保您的账户上有足够的金币

2、已购买过的文档，再次下载不重复扣费

3、资料包下载后请先用软件解压，在使用对应软件打开

本发明提出一种基于Hadoop的分布式网络爬虫系统,包括系统总调度模块、页面下载模块、页面解析模块、URL调度模块、文本分类模块、数据存储模块实现对互联网数据的高效准确爬取,特别是本发明通过改进爬虫系统的调度方式和判断逻辑,保证了爬虫系统能够获得多维度的信息,此外,本发明的爬虫系统还结合了分布式系统架构的特点,提高了数据处理效率。