搜索引擎技术内核介绍

《搜索引擎技术内核介绍》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、搜索引擎技术内核班级：07信管本（2）班姓名：于振业学号：45-9-搜索引擎简介：搜索引擎是指互联网上专门提供检索服务的一类网站，这些站点的服务器通过网络搜索软件或网络登录方式，将Internet上大量网站的网页信息收集到本地，经过加工处理建立信息数据库和索引数据库，从而对用户提出的各种检索作出响应，提供用户所需的信息或相关指针。目前,我国互联网中主要的搜索引擎有Google、百度、Bing、有道、搜狗等等。百度和Google的用户相对较多。以后还会有更多专业的搜索出现用户检索途径主要包括：a.自由词全文检索b.关键词检索c.分类检索d.

2、其他特殊信息检索搜索引擎的技术性分类：n全文搜索引擎-9-全文搜索引擎的“网络机器人”或“网络蜘蛛”是一种网络上的软件，它遍历Web空间，能够扫描一定IP地址范围内的网站，并沿着网络上的链接从一个网页到另一个网页，从一个网站到另一个网站采集网页资料。它为保证采集的资料最新，还会回访已抓取过的网页。网络机器人或网络蜘蛛采集的网页，还要有其它程序进行分析，根据一定的相关度算法进行大量的计算建立网页索引，才能添加到索引数据库中。我们平时看到的全文搜索引擎，实际上只是一个搜索引擎系统的检索界面，当你输入关键词进行查询时，搜索引擎会从庞大的数据库中

3、找到符合该关键词的所有相关网页的索引，并按一定的排名规则呈现给我们。不同的搜索引擎，网页索引数据库不同，排名规则也不尽相同，所以，当我们以同一关键词用不同的搜索引擎查询时，搜索结果也就不尽相同。google、百度等等。n目录索引搜索引擎：-9-目录索引搜索引擎中的数据是各个网站自己提交的，它就像一个电话号码薄一样，按照各个网站的性质，把其网址分门别类排在一起，大类下面套着小类，一直到各个网站的详细地址，一般还会提供各个网站的内容简介。用户不使用关键字也可进行查询，只要找到相关目录，就完全可以找到相关的网站（注意：是相关的网站，而不是这个网

4、站上某个网页的内容）。这类搜索引擎往往也提供关键字查询功能，但在查询时，它只能够按照网站的名称、网址、简介等内容进行查询，所以它的查询结果也只是网站的URL地址，不能查到具体的页面。由于这类搜索引擎的数据一般由网站提供，因此它的搜索结果并不完全准确，并不是严格意义上的搜索引擎。Yahoo，新浪等。n元搜索引擎：-9-元搜索引擎在接受用户查询请求时，同时在其他多个引擎上进行搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索结果排

5、列方面，有的直接按来源引擎排列搜索结果，如Dogpile，有的则按自定的规则将结果重新排列组合，如Vivisimo。中文元搜索引擎圣博牛搜等等。搜索引擎的主要技术：1.搜索器搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死链接和无效链接。目前有两种搜集信息的策略。(1)从一个起始URL集合开始，顺着这些URL中的超级链接（Hyperlink），以宽度优先、深度优先或启发式方式循环地

6、在互联网中发现信息。这些起始URL可以是任意的URL，但常常是一些非常流行、包含很多链接的站点（如Yahoo!）。(2)将Web空间按照域名、IP地址或国家域名划分，每个搜索器负责一个子空间的穷尽搜索。-9-搜索器搜集的信息类型多种多样，包括html、xml、newsgroup文章、ftp文件、字处理文档和多媒体信息。2.索引器索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关，如作者名、URL、更新时间、编码、长度、链接流行度（lin

7、kpopularity）等；内容索引项是用来反映文档内容的，如关键词及其权重、短语、单字等。内容索引项可以分为单索引项和多索引项（或称短语索引项）两种。单索引项对于英文来讲是英语单词，比较容易提取，因为单词之间有天然的分隔符（空格）；对于中文等连续书写的语言，必须进行词语的切分。3.检索器-9-检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。4.用户接口用户接口的作用是输入用户查

8、询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维