【硕士论文】分布式搜索引擎中缓存系统的研究与实现

《【硕士论文】分布式搜索引擎中缓存系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、摘要分布式缓存技术是在不增加成本的前提下提高www系统响应速度的一种有效解决方案。本文依托国家科技支撑计划项目“综合风险防范关键技术研究与示范"，针对项目中综合风险搜索引擎面J腹的响应速度和搜索效率等问题，开展了分布式缓存系统的研究。重点解决了分布式缓存系统中缓存协作、缓存替换算法等关键问题，并实现了一个分布式缓存系统，该系统已经应用在综合风险搜索引擎中，取得了良好的应用效果。本文主要研究成果有：1)根据综合风险搜索引擎需求以及分布式缓存系统的特点，完成了分布式缓存系统的设计与实现。2)在分析传统缓存

2、协议和搜索引擎特点的基础上，设计了HCC(hotspotscooperativecaching)缓存协作机制，HCC采用控制节点和缓存节点分离的体系结构，降低了分布式管理的复杂性，通过将“热点’’文档复制到低负载节点，将负载较为合理地分散到多个节点，最终消除“热点”节点。与其它缓存协议在理论上和实验数据的对比表明，HCC在访问延迟、缓存效率和系统开销方面要优于其它缓存协议。3)在分析传统缓存替换算法的基础上，设计了一种基于综合价值计算的缓存优化算法，该算法整合文档大小、访问频率、访问时间间隔和它的最近

3、最久未访问特性，加以综合考虑。与其它缓存替换算法对比表明，本算法的字节命中率和分组命中率要优于其它缓存替换算法。关键词：缓存系统，分布式，缓存协作机制，替换算法ResearchandImplementationoftheCacheSystemInDistributedSearchEngineThedistributedcachingisoneofthemosteffectivesolutionswhichcallenhancethesystemperformanceofWWWsystemandatth

4、esametimedoesnotincreasethecostofoneenterprise．Basedonnationalscienceandtechnologyprojectstosupport”KeytechnologyresearchanddemonstrationofIntegratedRiskGuardians”．Aimatsolvingtheproblemsofresponsespeedandsearcheffectiveintheintegratedrisksearchengine，t

5、hethesisresearchadistributedcachesystemandisdevotedtokeytechnologyresearchsuchascooperationofcacheandreplacementalgorithmetc．Theintegratedrisksearchwithdistributedcacheenginehasbeenimplementedandhasachievedverygoodperformanceandapplication．Themainachiev

6、ementisasfollows：Firstly,designandimplementationofdistributedcachesystemhasbeencompletedinaccordancewithneedintegratedofrisksearchengineandcharacteristicsofdistributedcachesystem．Secondly，thethesishasdesignedtheHCC(hotspotscooperativecaching)cachecooper

7、ationmechanismatthebasisofanalysisfortraditionalcachecooperationmechanismandthefeaturesofsearchengine．Ithasintroducedsystemmodel，cachestructureandmanagementbetweennodeandprotocolindetail．HCCadoptsaarchitecturewithcontrolnodeandcachenode，whichmakedistrib

8、utedmanagementlessComplex．Inaddition,Iteliminatehotspotnodethroughcopyingthe‘‘hotspot’’documentstolowloadnodeanddispersingloadintomorespotsreasonably．Comparisonwithothercachecooperationmechanismthroughtheoryandtestdata,theconclus