lecture8-websearch

《lecture8-websearch》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、PrincipleofInformationRetrievalSystem信息检索系统原理PrincipleofInformationRetrievalSystem第8讲Web搜索引擎WebSearchEngine*改编自刘奕群网上公开的课件信息检索系统原理内容提要①温故而知新②搜索引擎基本概念和发展历史③搜索引擎体系结构简介④搜索引擎体系结构设计理念2信息检索系统原理内容提要①温故而知新②搜索引擎基本概念和发展历史③搜索引擎体系结构简介④搜索引擎体系结构设计理念3信息检索系统原理思考判断两段程序之间是否存在抄袭？向量空

2、间模型？4信息检索系统原理或许，可以…比如，对每段程序建立一个向量<函数个数，变量个数，常量个数，…>然后，进行向量相似度计算5信息检索系统原理指纹6信息检索系统原理信息指纹(Fingerprint)任何一段信息文字，都可以对应一个不太长的随机数，作为区别它和其它信息的指纹(Fingerprint)只要算法设计的好，任何两段信息的指纹都很难重复，就如同人类的指纹一样信息指纹在加密、信息压缩和处理中有广泛应用7信息检索系统原理相似哈希(Simhash)并不复杂，以Google下载网页排查重复网页为例假设，一个文

3、档有若干的词??、??、…、??，他们的权重(比如TF-IDF值)分别为??、??、…、??。先计算出这些词的信息指纹，假设是8位二进制的信息指纹(实际工作中不会这么短，因为重复度太高)相似哈希计算可分为扩展与收缩两步百度一下，你就知道《数学之美》，第16章信息指纹及其应用8信息检索系统原理感兴趣？亲！勇敢的编程去实现吧！O(∩_∩)O选作题：判断两段程序之间是否存在抄袭？(相似度)9信息检索系统原理内容提要①温故而知新②搜索引擎基本概念和发展历史③搜索引擎体系结构简介④搜索引擎体系结构设计理念10信息检索系统原

4、理VannevarBush范内瓦·布什(1890-1974)信息技术发展史中的核心人物“要理解比尔·盖茨和比尔·克林顿的世界，你必须首先认识范内瓦·布什。”“信息时代的教父”，“科学将军”曼哈顿计划、星球大战计划的核心人物DARPA，NSF的创立者代表著作：Aswemaythink，1945，"AtlanticMonthly"11信息检索系统原理互联网的历史ARPA美国国防部前沿技术研究署(DARPA)开发(1960)保证核大战情况下的通讯需要1973年扩展到英国和挪威，成为“互联网”90年代面向公众

5、开放NSFnet美国国家科学基金会建立(1986)1994转为商业运营12信息检索系统原理万维网的历史Web,WorldWideWeb,WWW,W3TimJohnBerners-Lee1989-1990提出了WWW的原型建议1990年圣诞假期，完成了第一个Web浏览器和第一个Web网页服务器程序1991年8月，建立了一个网站1993年，欧洲核子研究组织宣布Web永久免费1994年，创立了万维网联盟(WorldWideWebConsortium)13信息检索系统原理搜索引擎的定义搜索引擎是什么？搜索引擎

6、指自动从万维网上搜集信息，经过一定整理以后，提供给用户进行查询的系统。(Wikipedia)14信息检索系统原理搜索引擎的发展历史搜索引擎的起源VannevarBush1945“在2010年左右，世界上应该有一种工具，它能够使人们最方便快捷的获取所有图书馆中藏有的知识”GerardSalton1960s杰拉德·索尔顿，现代搜索技术之父Salton’sMagicAutomaticRetrieverofTextACMSIGIRSaltonAwardSearchingabstractsofscientificpap

7、ers.15信息检索系统原理搜索引擎的发展历史搜索引擎的起源Archie1991最早的网络搜索工具McGillUniversityinMontreal，AlanEmtage，FTP搜索WorldWideWebWanderer1993收集网络信息(网络爬虫原型)ALIWEB1993用户主动提交需要索引的网页Repository-BasedSoftwareEngineering(RBSE)1993NASA，具有现代搜索引擎特征，使用了排序系统同时期：WWWworm(OliverMcBryan,UColora

8、do)16信息检索系统原理搜索引擎的发展历史搜索引擎产业逐渐成熟Lycos1994Dr.MichaelMauldin，CMULycosidea:thewolfspiders当时索引量最大的搜索引擎Yahoo!1994DavidFilo&JerryYang,StanfordUn