基于云计算的语义搜索引擎研究

《基于云计算的语义搜索引擎研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、目录录⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯4Abstract⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．5第一章引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．61．1云计算的定义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．61．2Google的云计算介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯lO1．2．1GFS⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．101．2．2MapReduce⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．111．2．3BigTable⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．121．3云计算的展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

2、．13第二章搜索引擎平台⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．152．1搜索引擎的应用与发展⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．152．1．1背景⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯152．1．2搜索引擎的应用⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．162．2搜索引擎的市场⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．172．3搜索引擎的分类与特性⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一．．192．4搜索引擎的发展及存在的问题⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．212．5搜索引擎的原理及平台架构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．232．6搜索引擎中的数据及特点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯252．6．1数据特点⋯⋯⋯⋯⋯⋯⋯⋯⋯

3、⋯⋯⋯⋯⋯⋯⋯．．252．6．2基于传统平台的搜索引擎存在的问题．⋯⋯⋯⋯⋯⋯⋯⋯．．29第三章分布式存储技术的介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯313．1基于P2P的分布式存储⋯⋯⋯⋯．．3．1-1P2P分布式存储的特点⋯⋯．．二≥二茎：竺三：萎霎i冀i篡：：：：：：：：：：：_IYlUltltllltlll9ltltl6ttllll7lltll$5511111鬯336332．基于神经网络的分布式存储⋯⋯⋯⋯⋯⋯．1V1QR7异SR363．3互联网公司内部的分布式存储系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．37第五章基于DIfT的全分布式网络语义搜索算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．493摘要当前

4、，云计算(CloudComputing)是IT界最时髦的一个词，各大IT公司争相宣传和推广这种新兴的商业模式，并投入巨大的人力物力进行研究。随着存储设备的成本降低，带宽的提高，处理器能力的增强，一种将计算和存储放到“云端”的设想正逐渐成为现实。云计算目前还没有统一的标准和接口，不同的公司都在为了各自的业务进行研究，这些领域包括电子商务，网络存储，在线办公，搜索引擎，电子地图等。其中，搜索引擎是处理海量数据的前沿领域，云计算在搜索引擎的演进过程中会起到非常大的作用，而目前各大搜索引擎公司还没有真正意义上的实现后台的“云化"。通过搜索引擎的特性和需求来研究云计算，同时，通过云计算的理

5、论来改进搜索引擎，是一个非常好的切入点，也可以推广到其他的云计算应用领域。本文，在介绍传统搜索引擎模块分类和平台架构的基础上，指出传统搜索引擎平台存在的缺陷和问题，并提出了一种基于云计算的搜索引擎平台及相关通用接口，并将这些接口泛化，推广到其他云计算的应用中。本文着重对云计算的存储系统进行了探讨：1．建立了一种一致性Hash数据定位算法，加快了数据的存储和获取；2．提出了可配置存储系统，针对不同的数据特性提供不同的存储模式；3．设计了一种全分布式的数据备份方案；4．提出了基于云的语义搜索算法；论文还针对云计算中的数据处理提出了一些设想，并探讨了云计算在互联网其他应用领域的应用，以

6、适应今后互联网的发展。关键词：云计算，搜索引擎，分布式数据存储，一致性Hash数据定位算法，文章距离算法，语义搜索4mountsofmoneyresearchingCloudComputing．Withstoragesystembecomingmoreandmorecheap，intemetbandwidthhigher，processingunitfaster，theoldassumptionthatmovingcomputingandstorageintothe‘‘cloud”isbecomingtruc．Nowthereis110commoninterfaceforClou

7、dComputing，norrelatedstandardpublished．ITcompaniesalefocuSingonbuildingtheirown“clouds”indifferentfieldsincluding：e—commerce，intemetstorage，onlineoffice，searchengine，onlinemap，ete．Amongthem，searchengineistheforefrontoftheseapplications．CloudC