这就是搜索引擎-核心技术详解

《这就是搜索引擎-核心技术详解》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、免费在线版本（非印刷免费在线版）了解本书更多信息请登录豆瓣图书相关页面InfoQ中文站出品本书由InfoQ中文站免费发放，如果您从其他渠道获取本书，请注册InfoQ中文站以支持作者和出版商，并免费下载更多InfoQ软件开发系列图书。本迷你书主页为http://www.infoq.com/cn/minibooks/this-is-search-engine前言互联网产品形形色色，有产品导向的，有营销导向的，也有技术导向的，但是以技术见长的互联网产品比例相对小些。搜索引擎是目前互联网产品中最具技术含量的产品，如果不是唯一，至少也是其中之一。经过十几年的发展，搜索引擎

2、已经成为互联网的重要入口之一，Twitter联合创始人埃文•威廉姆斯提出了"域名已死论"：好记的域名不再重要，因为人们会通过搜索进入网站。搜索引擎排名对于中小网站流量来说至关重要。了解搜索引擎简单界面背后的技术原理其实对很多人都很重要。为什么会有这本书最初写本搜索引擎技术书籍的想法萌生于两年前，当时的场景是要给团队成员做搜索技术培训，但是我找遍了相关图书，却没有发现非常合适的搜索技术入门书籍。当时市面上的书籍，要么是信息检索理论方面的专著，理论性太强不易懂，而且真正讲搜索引擎技术的章节并不太多；要么是Lucene代码分析这种过于实务的书籍，像搜索引擎这种充满算法

3、的应用，直接分析开源系统代码并不是非常高效的学习方式。所以当时萌生了写一本既通俗易懂，适合没有相关技术背景的人员阅读，又比较全面，且融入最新技术的搜索引擎书籍，但是真正动手开始写是一年前的事情了。写书前我给自己定了几个目标。首先内容要全面，即全面覆盖搜索引擎相关技术的主要方面，不仅要包含倒排索引、检索模型和爬虫等常见内容，也要详细讲解链接分析、网页反作弊、用户搜索意图分析、云存储及网页去重，甚至是搜索引擎缓存等内容，这些都是一个完整搜索引擎的有机构成部分，但是详述其原理的书籍并不多，我希望能够尽可能全面些。第二个目标是通俗易懂。我希望没有任何相关技术背景的人也能

4、够通过阅读这本书有所收获，最好是不懂技术的同学也能大致看懂。这个目标看似简单，其实很不容易达到，我也不敢说这本书已经达到了此目的，但是确实已经尽自己所能去做了。至于具体的措施，则包含以下三个方面。一个是尽可能减少数学公式的出现次数，除非不得已不罗列公式。虽说数学公式具简洁之美，但是大多数人其实对于数学符号是有恐惧和逃避心理的，多年前我也有类似心理，所以但凡可能，尽量不用数学公式。1一个是尽可能多举例子，尤其是一些比较难理解的地方，需要例子来增进理解。还有一个是多画图。就我个人的经验来说，尽管算法或者技术是很抽象的，但是如果深入理解其原理，去繁就简，那么一定

5、可以把算法转换成形象的图片。如果不能在头脑中形成算法直观的图形表示，说明并未透彻了解其原理。这是我判断自己是否深入理解算法的一个私有标准。鉴于此，本书中在讲解算法的地方，大量采用了算法原理图，全书包含了超过300幅算法原理讲解图，相信这对于读者深入理解算法会有很大的帮助。第三个目标是强调新现象新技术，比如Google的咖啡因系统及Megastore等云存储系统、Pregel云图计算模型、暗网爬取技术、Web2.0网页作弊、机器学习排序、情境搜索、社会化搜索等在相关章节都有讲解。第四个目标是强调原理，不纠缠技术细节。对于新手一个易犯的毛病是喜欢抠细节，只见树木不见

6、森林，搞明白了一个公式却不了解其背后的基本思想和出发点。我接触的技术人员很多，十有七八会有这个特点。这里有个"道术孰优"的问题，何为"道"？何为"术"？举个例子的话，《孙子兵法》是道，而《三十六计》则为术。"道"所述，是宏观的、原理性的、长久不变的基本原理，而"术"则是在遵循基本原理基础上的具体手段和措施，具有易变性。技术也是如此，算法本身的细节是"术"，算法体现的基本思想则是"道"，知"道"而学"术"，两者虽不可偏废，但是若要选择优先级的话，无疑我会选择先"道"后"术"。以上四点是写书前定下的目标，现在书写完了，也许很多地方不能达到最初的期望，但是尽了力就好。

7、写书的过程很辛苦，起码比我原先想象的要辛苦，因为工作繁忙，所以只能每天早早起床，再加上周末及节假日的时间来完成。也许书中还存在这样那样的缺点，但是我可以无愧地说写这本书是有诚意的。这本书是写给谁的如果您是下列人员之一，那么本书就是写给您的。1.对搜索引擎核心算法有兴趣的技术人员搜索引擎的整体框架是怎样的？包含哪些核心技术？网络爬虫的基本架构是什么？常见的爬取策略是什么？什么是暗网爬取？如何构建分布式爬虫？百度的阿拉丁计划是什么？什么是倒排索引？如何对倒排索引进行数据压缩？2搜索引擎如何对搜索结果排序?什么是向量空间模型？什么是概率模型？什么是BM25模

8、型？什么是机器学习排序？