预览加载中，请您耐心等待几秒...

网络蜘蛛概述.pptx

预览
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲，该文档总共23页，到这已经超出免费预览范围，如果喜欢就直接下载吧～

下载提示 文本预览

如果您无法下载资料，请参考说明：

1、部分资料下载需要金币，请确保您的账户上有足够的金币

2、已购买过的文档，再次下载不重复扣费

3、资料包下载后请先用软件解压，在使用对应软件打开

会计学-2--3--4--5--6--7--8--9--10-二、网络爬虫概述1.爬行策略 下述的三种网络特征，造成了设计网页爬虫抓取策略变得很难： 它巨大的数据量； 它快速的更新频率； 动态页面的产生 它们三个特征一起产生了很多种类的爬虫抓取链接。正如爱德华等人所说的：“用于检索的带宽不是无限的，也不是免费的；所以，如果引入衡量爬虫抓取质量或者新鲜度的有效指标的话，不但伸缩性，连有效性都将变得十分必要”（爱德华等人，2001年）。一个爬虫就必须小心的选择下一步要访问什么页面。网页爬虫的行为通常是四种策略组合的结果。 选择策略，决定所要下载的页面； ♦重新访问策略，决定什么时候检查页面的更新变化； ♦平衡礼貌策略，指出怎样避免站点超载； ♦并行策略，指出怎么协同达到分布式抓取的效果；四、网页搜索策略四、网页搜索策略-16--17--18--19--20--21--22-ThankYou!