搜索研究论文-搜索引擎技术及研究

《搜索研究论文-搜索引擎技术及研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、搜索研宄论文-搜索引擎技术及研究搜索引擎技术及研究引言随着计算机网络技术的飞速发展，人们要在互联网的海量信息中查找自己所需的信息，就要使用搜索引擎，搜索引擎己经成为人们获取信息的重要手段。搜索引擎从广义的角度来讲，是指互联网上提供用户检索接口并且具有检索功能的网站，它能帮助人们在互联网中查找到所需要的信息;从狭义的角度来讲，搜索引擎是指根据某种策略、运用特定的计算机程序从网络上搜集要查找的信息，对信息进行组织和处理后，为用户提供检索服务，将用户检索的相关信息展现给用户的系统。1搜索引擎的发展历程搜索引擎是伴随互

2、联网的发展而产生和发展的，互联网己成为人们学习、工作和生活中不可缺少的平台，几乎每个人上网都会使用搜索引擎。搜索引擎大致经历了四代的发展。第一代搜索引擎1994年第一代真正基于互联网的搜索引擎Lycos诞生，它以人工分类目录为主，代表厂商是Yahoo，特点是人工分类存放网站的各种目录，用户通过多种方式寻找网站，现在也还有这种方式存在。第二代搜索引擎随着网络应用技术的发展，用户开始希望对内容进行查找，出现了第二代搜索引擎，也就是利用关键字来查询最具代表性、最成功的是Google,它建立在网页链接分析技术的基础上，

3、使用关键字对网页搜索，能够覆盖互联网的大量网页内容，该技术可以分析网页的重要性后，将重要的结果呈现给用户。第三代搜索引擎随着网络信息的迅速膨胀，用户希望能快速并且准确的查找到自己所要的信息，因此出现了第三代搜索引擎。相比前两代，第三代搜索引擎更加注重个性化、专业化、智能化，使用自动聚类、分类等人工智能技术，采用区域智能识别及内容分析技术，利用人工介入，实现技术和人工的完美结合，增强了搜索引擎的查询能力。第三代搜索引擎的代表是Google,它以宽广的信息覆盖率和优秀的搜索性能为发展搜索引擎的技术开创了崭新的局面。

4、第四代搜索引擎随着信息多元化的快速发展，通用搜索引擎在目前的硬件条件下要得到互联网上比较全面的信息是不太可能的，这时，用户就需要数据全面、更新及时、分类细致的面向主题搜索引擎，这种搜索引擎采用特征提取和文本智能化等策略，相比前三代搜索引擎更准确有效，被称为第四代搜索引擎［1］。2搜索引擎的分类搜索引擎按工作方式分为三类：目录索引类搜索引擎、全文搜索引擎和元搜索引擎［2］。目录索引类搜索引擎目录索引类搜索引擎的数据库是人工建立的，工作人员访问过某个web网站后依据自定的一套评判准则对这个网站进行描述，并根据站点的

5、性质和内容归类到预先分好的类别，再将其存放在对应的目录中，用户既可以通过关键词查询，也可以按目录逐层检索。由于目录索引类数据库是人工评价某个网站的内容，所以相比基于Robot搜索引擎搜索到的结果，用户通过目录搜索的结果更具有参考价值。当前大部分搜索网站既提供基于Robot的搜索服务，又提供基于目录的搜索服务，以尽可能为用户提供全面的查询结果。全文搜索引擎目前全文搜索引擎是主流的搜索引擎，人们经常说的搜索引擎一般都是指全文搜索引擎，典型的代表有Google,百度、搜狗等。这类搜索引擎利用网络蜘蛛在网络中搜索，再抓

6、取原始网页，存放于本地数据库并对原始网页进行加工，然后建立网页内容索引。系统在检索阶段，索引后台数据库并寻找和用户查询条件相匹配的网页，把这些网页按照相应规则排序后将结果按顺序返回给用户。在搜索引擎的界面上，用户输入要查询的关键字，就能够找到互联网中与之相关的网页。元搜索引擎元搜索引擎是将用户的搜索请求同时提交给多个独立搜索引擎，然后集中处理搜索结果，按统一格式返回给用户，故又被称为搜索引擎之上的搜索引擎。该搜索引擎的特点是本身不保存网页信息内容，如果有用户输入查询请求，它把请求转换成其它搜索引擎可以接受的命令

7、格式，同时访问多个搜索引擎查询该关键词，最后将搜索引擎返回的结果处理后提交给用户。总之，目录索引类搜索引擎的缺点是信息覆盖量不大、更新慢，元搜索引擎要等待所有搜索引擎提交结果并进行处理，速度通常比较慢，因此全文搜索引擎是人们研究的重点。3搜索引擎的工作原理搜索引擎通常由搜索器、索引器、检索器和用户接口四部分组成［3］。系统先由搜索器收集网页内容，再通过索引器分析收集的内容并建立索引，然后由检索器响应用户的检索请求，当用户输入查询关键字后，搜索器用关键字与索引器进行匹配，作相关性排序后通过用户接口给用户返回结果。

8、搜索引擎的工作流程可以简单的描述为：网络蜘蛛定期在互联网上爬行，当发现新的页面时，将其取出并存放到本地数据库中，用户可通过查询本地数据库得到结果。大致可概括为抓取网页、加工整理、查询服务三个阶段。抓取网页阶段：每个独立的搜索引擎都有自己的网络蜘蛛，它每隔一定的时间自动启动，从数据库获得URL列表，按照某种策略抓取列表指定的网站，并将抓到的网页存入数据库，然后把新的URL存入数据库。理论