网络搜索引擎应用研究论文.doc

第页共NUMPAGES31页毕业论文题目：网络搜索引擎应用研究_学院：学生姓名：指导教师：起讫日期：___________摘要搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列，方便用户查找。如何更加快捷、准确地查找到用户所需的网络信息资源，是各大搜索引擎服务提供商和计算机网络研究人员的研究热点。作为计算机专业的学生，搜索引擎技术对我们有很大的诱惑力，了解搜索引擎的发展现状、原理和技术手段，从算法的角度来认识搜索引擎，是我们必须掌握的知识之一。本文主要研究搜索引擎的基本原理、搜索算法及实现技术。关键字：搜索引擎、基本原理、搜索算法、技术。目录摘要……………………………………………………………………………………1引言……………………………………………………………………………51.1搜索引擎的初现与发展……………………………………………………………61.1.1搜索引擎的初显………………………………………………………………61.1.2搜索引擎的发展………………………………………………………………61.2搜索引擎在我国的发展现状………………………………………………………81.2.1我国搜索引擎的背景…………………………………………………………81.2.2搜索引擎的现状………………………………………………………………91.3本文的研究内容…………………………………………………………………10搜索引擎的原理……………………………………………………………112.1搜索引擎的原理概述……………………………………………………………112.2搜索引擎的实现原理……………………………………………………………122.2.1从互联网上抓取网页………………………………………………………122.2.2建立索引数据库……………………………………………………………122.2.3在索引数据库中搜索………………………………………………………132.2.4对搜索结果进行处理排序…………………………………………………132.3垂直搜索引擎的工作原理………………………………………………………142.3.1垂直搜索引擎的基本原理…………………………………………………142.3.2垂直搜索引擎的技术原理…………………………………………………142.3.3垂直搜索引擎技术框架……………………………………………………15搜索引擎的核心--网络蜘蛛………………………………………………163.1网络蜘蛛…………………………………………………………………………163.1.1网络蜘蛛的介绍……………………………………………………………163.1.2网络蜘蛛的工作原理………………………………………………………163.2网络蜘蛛的结构分析……………………………………………………………173.2.1如何解析HTML………………………………………………………………173.2.2Spider程序结构……………………………………………………………193.2.3如何构建Spider程序………………………………………………………193.2.4如何提高程序性能…………………………………………………………203.2.5网络蜘蛛的代码分析………………………………………………………213.3网络蜘蛛的处理对象……………………………………………………………233.4网络蜘蛛面临的难题……………………………………………………………23搜索引擎的主要技术………………………………………………………254.1搜索器、索引器、检索器及用户接口…………………………………………254.1.1搜索器………………………………………………………………………254.1.2索引器………………………………………………………………………254.1.3检索器………………………………………………………………………254.1.4用户接口……………………………………………………………………264.2中文搜索引擎的中文分词技术…………………………………………………26搜索引擎的系统构架………………………………………………………275.1搜索引擎的系统构架图…………………………………………………………275.2搜索引擎的系统构架……………………………………………………………275.2.1从互联网上抓取网页………………………………………………………275.2.2建立索引数据库…