基于lucene的校园网搜索引擎.doc

基于lucene的校园网搜索引擎［提要］现代网络信息化水平日益提高，网页信息量急剧增加，搜索引擎已经成为人们获取所需知识的必要工具之一。本文结合校园网搜索引擎的具体需求，介绍校园网搜索引擎的整体框架。其中，lucene作为开源的检索框架，具有很好的应用性。关键词：搜索引擎；lucene；网络爬虫；站内搜索一、引言21世纪是网络信息化的时代，网络信息已经成为人们工作与学习中不可或缺的东西。网络在世界范围内向用户提供信息服务及其所拥有的信息资源，但随着网络的蓬勃发展，信息数量的快速增长，当今网络上的这些海量信息形态各异，且分散在网络中的各个角落。因此，如何从网络上的海量信息中检索出用户所需要的信息，成为了我们关注的一个重要问题。目前，虽然有了像google、百度这样的通用搜索引擎，但是它们并不能适合人们所有的情况和需要，也没有哪个最大最好的搜索引擎可以覆盖所有的搜索范围，因为不同的人群范围所需求的信息资源也是不尽相同的。人们习惯在互联网上查找信息，往往在同一个网站内拥有丰富的信息资源，如何在网站内部快速查找用户所要的信息，也成为了人们当前关注的一个焦点。二、搜索引擎搜索引擎是一个为用户提供信息检索功能的网络工具。搜索引擎是随着互联网络信息的快速增长，开始逐步发展起来的技术。在互联网发展的最初阶段，网站的数量相对较少，信息查找比较容易。但随着互联网技术爆炸性的发展，网络上面的信息越来越多，并且以各种各样的形态存在，这时用户便很难找到所需要的信息，一些为满足大众信息检索需求的专业搜索网站就应运而出了。如今，google的巨大成功让整个世界都把眼光投入到搜索引擎这个领域中，并且google在一定程度上起到了引导作用。google公司在2007年决定向小型网站提供专门的搜索服务。这些都表明小型专用的搜索引擎将在人们获取互联网信息中发挥着想当重要的作用。三、lucenelucene是apache软件基金会jakarta项目组的子项目，它是一个开放源码的全文检索工具。lucene在起初是基于java开发的，在网站建设中扮演的是一个全文索引工具的角色。与传统的直接从数据库中搜索记录相比较，使用lucene可以大大增加搜索引擎的性能。lucene的搜索机制是基于文件索引的，所以性能要比从数据库中检索更快，尤其当数据量大的时候区别更加明显。lucene可以及时索引所有需要的内容，并更新和删除它们。lucene的系统结构具有良好的二次开发性能。首先它的索引格式与平台无关，其次它将各个组成部分封装成抽象类，具体的实现定义为抽象类的实现过程，并且具有强烈的面向对象的特征。（图1）四、校园网的搜索引擎框架现代网络信息化水平迅速提高，校园网作为一个信息核心领域，所涉及到的内容也是形态各异的。本文就如何搭建一个校园网内的搜索引擎，以方便在校师生快速准确地查找各自所需信息的整体流程，给出详细的介绍。搜索引擎首先根据网站的需求选择合适的网络爬虫，对网络上的信息进行爬取，爬取到信息之后，对其中的有用信息进行提取，并利用lucene对所提取到的有用信息进行索引，最终输出与用户查询结果匹配度最大的信息。本文研究的校园网搜索引擎有三个功能模块：信息采集模块、信息处理模块和信息检索模块。信息采集模块，顾名思义，就是对网络上的信息进行采集，这是整个搜索引擎系统一项最初始的准备工作，也是最基础的工作。该搜索系统针对的目标群体主要是在校师生，也就是说，要捕获的信息主要来源于校园网络。信息处理模块，主要负责对采集到的信息进行提取，提取到所需的有价值的信息之后并为其建立索引，为后续的信息检索模块构建好索引数据库。信息检索模块主要负责在已构建好的索引数据库中查找包含用户查询关键字在内的文本内容，并负责用户从搜索界面接收关键字以及查询结果信息的返回工作。校园网的搜索引擎系统组织结构图如图2所示。（图2）（一）信息采集模块。信息采集模块是校园网搜索系统最基础的组成部分，它的作用是对指定网站的页面信息进行采集，并将采集到的信息保存到数据库中。这一部分主要依靠网络爬虫程序来实现。网络爬虫是一个自动获取网页内容的程序，它为搜索引擎从internet网上下载网页，是搜索引擎的重要组成部分。它从一个或一组初始网页的url开始，获取初始网页上的url，在抓取网页的过程中，不断从当前页面上抽取新的url放入队列，直到满足系统的一定停止条件。本文利用网络爬虫从校园网上抓取网页url、网页标题和网页文本内容，并保存到已构建好的本地页面数据库中。信息处理模块从页面数据库中读取页面信息，分析信息内容并为其建立索引。一个好的网页爬虫应该具有很好的灵活性和健壮性，并且易于管理员操作管理。灵活性旨在爬虫能够尽可能多的适用于各种不同的场合。健壮性则要求爬虫在面对各