搜索引擎技术原理

《搜索引擎技术原理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、搜索引擎技术原理.txt吃吧吃吧不是罪，再胖的人也有权利去增肥！苗条背后其实是憔悴，爱你的人不会在乎你的腰围！尝尝阔别已久美食的滋味，就算撑死也是一种美！减肥最可怕的不是饥饿，而是你明明不饿但总觉得非得吃点什么才踏实。搜索引擎技术原理搜索引擎(searchengine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，为用户提供检索服务的系统。一、Web搜索引擎技术综述(一)、引子随着网络技术的应用与发展，互连网已经成为信息的重要来源地。搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户

2、提供检索服务，从而起到信息导航的目的，互联网用户使用网络获取信息过程中，搜索引擎也成为必不可少的工具。调查表明，当前的所有互连网应用中，网络信息搜索是仅次于电子邮件的第二大应用，而这些搜索绝大多数是专门的，高度复杂的搜索引擎实现的。按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类：①目录式搜索引擎，以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中，由于web信息的海量性和人工处理能力、经济代价的限制，这类搜索引擎信息的即时性和全面性难以保证，它的优秀代表是Yahoo等。②机器人搜索引擎，由

3、一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户，这类搜索引擎实现较为复杂，但能很好的实现信息的全面获取和即时更新，它的优秀代表是Google等。③元搜索引擎，这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户，这类搜索引擎兼集多个搜索引擎的信息，并且加入新的排序和信息过滤，可以很好的提高用户满意度。(二)、web搜索引擎的原理和实现web搜索引擎

4、的原理通常为：首先是用蜘蛛（Spider）进行全网搜索，自动抓取网页；然后将抓取的网页进行索引，同时也会记录与检索有关的属性，中文搜索引擎中还需要首先对中文进行分词；最后，接受用户查询请求，检索索引文件并按照各种参数进行复杂的计算，产生结果并返回给用户。1.利用网络蜘蛛获取网络资源这是一种半自动化的资源（由于此时尚未对资源进行分析和理解，不能成为信息而仅是资源）获取方式。所谓半自动化，是指搜索器需要人工指定起始网络资源URL（UniformResourceLocator），然后获取该URL所指向的网络资源，并分析该资源所指向的其他资源并获取。如Google的在

5、利用蜘蛛程序获取网络资源时，是由一个认为管理程序负责任务的分配和结果的处理，多个分布式的蜘蛛程序从管理程序活动任务，然后将获取的资源作为结果返回，并重新获得任务。2.利用索引器从搜索器获取的资源中抽取信息，并建立利于检索的索引表当用网络蜘蛛获取资源后，需要对这些进行加工过滤，去掉控制代码及无用信息，提取出有用的信息，并把信息用一定的模型表示，使查询结果更为准确。Web上的信息一般表现为网页，对每个网页，须生成一摘要，此摘要将显示在查询结果的页面中，告诉查询用户各网页的内容概要。模型化的信息将存放在临时数据库中，由于web数据的数据量极为庞大，为了提高检索效率，

6、须按照一定规则建立索引。不同搜索引擎在建立索引时会考虑不同的选项，如是否建立全文索引，是否过滤无用词汇，是否使用meta信息等。3.检索及用户交互这部分的主要内容包括：用户查询（query）理解，即最大可能贴近的理解用户通过查询串想要表达的查询目的，并将用户查询转换化为后台检索使用的信息模型；根据用户查询的检索模型，在索引库中检索出结果集；结果排序：通过特定的排序算法，对检索结果集进行排序。由于web数据的海量性和用户初始查询的模糊性，检索结果集一般很大，而用户一边不会有足够的耐性逐个查看所有的结果，所以怎样设计结果集的排序算法，把用户感兴趣的结果排在前面就十

7、分重要。(三)、web搜索引擎的最新动态当前，搜索引擎技术已经趋于成数，用户满意度也保持在一个可以接受的水平。在信息搜集技术，索引建立技术，检索技术和结果集排序技术方面，最近几年，Google创造性的提出pagerank技术，并把他用于结果排序。而搜索引擎的研究与信息集成逐渐融合，在这方面的研究主要集中在两个方面：查询扩展（queryexpansion）和结果集的动态分类。二、Google技术（一）Google技术概论Google秉持开发“完美的搜索引擎”的信念。所谓完美的搜索引擎，就如公司创始人之一LarryPage所定义的那样，可以“确解用户之意，切返用户

8、之需”。为了实现这一目标，Google