基于google大规模搜索引擎架构和设计技术

《基于google大规模搜索引擎架构和设计技术》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要∥46．1619本文提出了一个大规模搜索引擎的改进框架，充分利用了超文本的结构，这个结构设计用来有效的爬行和索引网页。产生比现行系统更加满意的搜索结果。这个结构有一个至少拥有2400万页的全文超链，接库，这个库可以在http：／／google．stanford．edu／中得到。【设计～个搜索引擎是一件相当难的工作，搜索引擎每天都要搜索成千上万的网页，对成千上万的搜索请求做出反应。虽然大规模的搜索引擎技术是非常重要的，但是有关这方面的研究并不多，而且由于技术的进步和网络的迅速增长，搜索引擎的设计所面对的需求与环境与三年前大不相同了√本文先是讨论了～个大规模搜索引擎

2、的设计和实现，并且简要的／描述了一些关键性技术，象中文分词技术、网络排序技术、图形链接技术、大规模网页索引技术、网络存储技术等，最后本文构造了一个改进型的大规模搜索引擎框架。本文除了把传统的搜索引擎技术扩展到适应于大规模的数据出现的问题外，还提出了一些新的技术问题，以便使用超文本附加信息，生成更好的搜索结果。r女关键词：万维网，搜索引擎，索引，Google嫂索21勘信息搜索，网页排序，中文分词AbstractInthispaper，wepresentimprovedarchitectureofalarge·scalesearchenginewhichmakeshea

3、vyuseofthestructurepresentinhypertext．ThearchitectureisdesignedtocrawlandindextheWebefficentlyandproducemuchmoresatisfyingsearchresultsthanexistingsystems．Thearchitecturewithafulltextandhyperlinkdatabaseofatleast24millionpagesisavailableathttp：／／google．stanford．eduToengineerasearchengi

4、neisachallengingtask．Searchenginesindextenstohundredsofmillionsofwebpagesinvolvingacomparablenumberofdistincterms．Theyanswertensofmillionsofquerieseveryday．Despitetheimportanceoflarge-scalesearchenginetodayisverydifferentfromthreeyearsago．Thispaperprovidesanin·depthdescriptionofthelarg

5、e—scalewebsearchengine-thefirstsuchdetailedpublicdescriptionweknowoftodate．Inthispaper，wediscussthedesignandimplementationofalarge-scaleChinesesearchenginethroughGoogle，andbrieflydescribesomekeytechniquessuchasChinesesegmentation，rankingofWebpages，linkgraph，indexoflarge·scaleWebtext．We

6、bstoragesystem．Finally,ageneralframenofinformationretrievalunderWebcontextsisconstructed．Apartfromtheproblemsofscalingtraditionalsearchtechniquestodataofthismagnitude，therearenewtechnicalchallengesinvolvedwithusingtheadditionalinformationpresentinhypertexttoproducebettersearchresults．K

7、eywords：WorldWideWeb，SearchEngine，Index，GoogleSearchengines，Informationretrieval，RankingofWebpages，Chinesesegmentation．山东科技大学硕十学位论文第一章概述1．1搜索引擎简介互联网的迅速发展和广泛普及导致网上信息爆炸性增长。据权威机构统计，网上约有数十亿的网页，甚至有些专家宣称网页总数已达5500亿，这一数字仍然在不断的快速增长。如何在庞大的互联网上获得有价值的信息已成为网民日益关注的问题。搜索引擎技术的出现为网民快速找到所需信息带来了福音。1．1