预览加载中，请您耐心等待几秒...

web数据挖掘Web爬取.ppt

预览
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲，该文档总共66页，到这已经超出免费预览范围，如果喜欢就直接下载吧～

下载提示 文本预览

如果您无法下载资料，请参考说明：

1、部分资料下载需要金币，请确保您的账户上有足够的金币

2、已购买过的文档，再次下载不重复扣费

3、资料包下载后请先用软件解压，在使用对应软件打开

RoadmapQ:Howdoesasearchengineknowthatallthesepagescontainthequeryterms? A:BecauseallofthosepageshavebeencrawledManynamesMotivationforcrawlersAcrawlerwithinasearchengineSpiders(Robots/Bots/Crawlers)Web有向图系统框图BasiccrawlersGraphtraversal(BFSorDFS?)单个采集线程个工作过程单个采集线程个工作过程（续）先广搜索算法AbasiccrawlerinPerl搜索策略搜索策略(cont)网页分布的若干特点1.DNS缓存，预取和解析DNSresolver高效地址解析的定制clientDNS缓存服务器预取client网页抓取多个并发的抓取ConcurrencyArchitectureofaconcurrentcrawler2.链接提取和规格化节省资源：避免“同义”地址对URL进行规格化3.爬取器的陷阱爬取器的陷阱：解决方案4.避免在重复网页上再提取链接5.文本仓储和网页相关信息的存贮网页内容的存贮网页存贮网页存储还存在什么问题呢？高性能的Crawler需要…Web信息采集当前研究方向基于整个Web的信息采集Large-scaleuniversalcrawlersLarge-scalecrawlers:scalabilityUniversalcrawlers:PolicyWebcoveragebysearchenginecrawlersMaintaininga“fresh”collectionDoweneedtocrawltheentireWeb?增量式Web信息采集有统计资料表明用户个性化Web信息采集PreferentialcrawlersPreferentialcrawlersPreferentialcrawlingalgorithms:ExamplesPreferentialcrawlers:Examples主题Web信息采集基于Agent的信息采集1、字体安装与设置1、字体安装与设置