论提高搜索引擎效率和精度的关键技术.docx

论提高搜索引擎效率和精度的关键技术论文关键词：搜索引擎；聚类；相关度论文摘要：为了使用户快速地从网页中找到所需要的内容在设计搜索引擎时需要更好地提高搜索引擎效率和精度该文阐述了六种提高搜索引擎效率和精度的技术。互联网自诞生以来不断成长其内容不断丰富整个网络逐渐堆积成一个前所未有的超大型信息库。Internet作为一个信息平台在人们的日常生活和工作中发挥着越来越重要的作用人们越来越多地通过Internet获取信息。然而伴随互联网的飞速发展普通网络用户想找到所需的资料简直如同大海捞针以至于迷失在信息的海洋中不知所措。搜索引擎的出现正好缓解了人们面对互联网信息爆炸带来的压力但是尽管如此搜索引擎搜索得到的结果中仍然包含了与用户查询请求不相关的文档用户必须逐个地浏览以找到相关文档花费了大量的精力。当返回的结果数目众多时这个问题更为突出。因此如何更好地提高搜索引擎效率和精度成为搜索引擎重点需要解决的问题。目前提高搜索引擎效率和精度的方法主要有如下六个关键技术。1基于超链的相关度排序排序搜索引擎的检索结果往往过于庞大用户一般只会浏览前面的一部分结果。通过对检索结果进行相关度排序搜索引擎试图使相关的文档尽可能地出现在结果的前面部分以改进检索结果的输出。虽然各个搜索引擎中相关度排序的具体实现各不相同但是基本上都采用了基于Web文档内容的方法即考虑用户所查询的词条在文档中的出现情况包括：词条频率、逆文档频率、词条位置等因素。这种方法有很大的局限性。一方面相关度高的页面不一定是用户普遍欢迎的页面；另一方面有些Web页面的作者利用上述因素来欺骗搜索引擎（spamming）以提高其页面的排序。事实上Web中还蕴含了丰富的结构信息。页面之间的超链反映了页面间的引用关系一个页面被其它站点引用的次数基本上反映了该页面的受欢迎程度（重要性）。超链中的标记文本（anchor）对链宿页面也起到了概括作用这种概括在一定程度上比链宿页面作者所作的概括（页面的标题、关键字、摘要）要更为客观、准确。因此近年来出现了一些基于超链的相关度排序方法作为基于内容方法的补充例如Stanford大学研究的PageRank算法等。这类方法通过为Web页面构造引用图并综合考虑页面的被引用次数以及链源页面的重要性来判断链宿页面的重要性。一些搜索引擎已经开始使用基于超链的相关度排序方法。例如以PageRank为核心技术的搜索引擎Google能够查询与用户请求相关的“权威”页面[1]。此外Google通过分析超链中包含的文本可以对链宿页面进行非全文索引而不需要下载和分析实际的页面。目前Google已经发展成为一个主要的搜索引擎实际下载并索引了近100000000的Web页面。但是通过超链分析其覆盖度达到了300000000超过了其它任何搜索引擎。2检索结果的联机聚类尽管搜索引擎采用了各种方法来提高检索结果的精度但是结果中仍然包含了与用户查询请求不相关的文档其比例高达75%以上。此外搜索引擎返回给用户的通常是一个线性的文档列表虽然经过了相关度排序但是相关文档和不相关文档仍然混杂于其中。用户必须逐个地浏览以找到相关文档花费了大量的精力。当返回的结果数目众多时这个问题更为突出。为了方便用户的浏览一些研究人员开始将聚类技术用于Web信息检索结果的可视化输出。聚类是指将文档集合分成若干个簇要求同一簇内文档内容的相似度尽可能地大而不同簇间的相似度尽可能地小。Hearst等人的研究已经证明了“聚类假设”即与用户查询相关的文档通常会聚类得比较靠近而远离与用户查询不相关的文档。因此我们可以利用聚类技术将搜索引擎的检索结果集合S划分为若干个簇(S1…Si…Sm)并以簇Si的质心averaged∈Si(d)作为簇Si的描述。这样用户只需要考虑那些相关的簇大大缩小了所需要浏览的结果数量。当一次聚类生成的簇Si中仍然包含大量文档时可以对该簇中的文档再次聚类得到若干个子簇(Si1…Sij…Sin)直到用户满意为止[2]。。Etzioni等人的实验结果表明使用一些改进算法来对检索结果进行联机聚类不但是可行的而且十分有效。3基于概念的检索大多数搜索引擎提供的检索服务是一种关键字检索（KeywordSearch）即检索出那些显式地包含用户指定词条的文档。由于自然语言中广泛存在同义和多义现象关键字检索显然是不够的。一些搜索引擎例如Magellan开始在关键字检索的基础上引入基于概念的检索（ConceptSearch）。该方法利用了词条在概念上的相关性因此可以检索出那些并不显式地包含用户指定的词条但是却包含其同义词或者下位词的文档。例如用户向Magellan查询“robot”时Magellan除