nosql数据库分布式缓存系统设计与实现

《nosql数据库分布式缓存系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、国内图书分类号：TP311学校代码：10213国际图书分类号：004.41密级：公开工程硕士学位论文NoSQL数据库分布式缓存系统设计与实现硕士研究生：臧传江导师：陈彬副教授副导师：魏晓明高级工程师申请学位：工程硕士学科：软件工程所在单位：软件学院答辩日期：2013年11月授予学位单位：哈尔滨工业大学万方数据ClassifiedIndex:TP311U.D.C:004.41DissertationfortheMasterDegreeinEngineeringImplementationofNoSqlDatabaseDistributedCacheSystemCandidate：ZangChu

2、anjiangSupervisor：AssociateProf.ChenBinAssociateSupervisor:SeniorEngineerWeiXiaomingAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence：Nov,2013Degree-Conferring-Institution：HarbinInstituteofTechnology万方数据哈尔滨工业大学工程硕士学位论文摘要随着WEB2.0时代的到来

3、，充斥于互联网中的数据量呈爆炸式增长。众多数据的频繁访问，对服务器和数据库的要求越来越高，如何更加高效地存储和访问数据而不对服务器产生过多的压力成为当今数据领域研究的一个重点。在数据服务集群之上架设分布式缓存系统是一个很好的解决方法。当今国内外存在有很多商业和开源的缓存系统，但大部分在性能和应用范围上都存在不同程度的不足之处，如系统自治性差、缓存命中率不够高或针对不同的应用缓存系统不通用等。论文根据企业对信息化系统的具体需要，设计了一种拥有良好架构的分布式环境下的NoSQL数据库的缓存系统。文中阐述了系统研发的功能需求和性能需求，对系统的分布式能力、扩展能力、与存储引擎集成能力、集群内存自主

4、管理能力以及系统的使用和维护难度等均作了比较全面的规定，也对系统开发完成后的稳定性和要达成的性能水平等做了量化的规定。系统设计方面首先简要描述了论文要设计开发的主要内容，是对系统模块的一个概览。之后对系统进行了需求分析以及总体架构和各模块的设计，尤其对部分关键模块用到的策略和算法进行了详细的分析和描述，如集群内存自适应管理方案，数据分布和负载均衡的实现方法等，对理解本系统的关键模块的设计思路有重要意义，也对系统的实现提供了指导，后期整个系统的实现，都将依据此设计进行。该系统在集群内存自适应管理中，使用了内存预先分配和内存自适应调整的策略，大大提高了系统的内存利用率、自治能力和缓存命中率。在负

5、载均衡方面，利用了桶充当虚拟节点，并在中心节点维护数据分布路由表，而不是典型的一致性哈希策略，提高了集群的集中管理能力，也为系统以后扩展到持久化存储层打好了基础。论文阐述了整个系统的设计构想和部分关键模块的实现细节，并在真实实验环境中对系统的相关功能和性能进行了测试和结果分析。本系统是一套具有很好适用性的缓存系统，系统扩展性良好。关键词：NoSQL数据库；分布式缓存；内存自适应管理；负载均衡-I-万方数据哈尔滨工业大学工程硕士学位论文AbstractWiththearrivaloftheWEB2.0era,theamountofdataintheInternetisexploding.The

6、frequentaccessofhugeamountofdatahasbeenchallengingtheperformanceofdataserversanddatabase.Andthemethodoffurtherenhancingtheefficiencyofstoringandsearchingmassivedata,withoutcausingmuchstresstothedataservers,isbecomingkeyresearchcontentsinbigdatafields.Tosetupadistributedcachesystemuponthedataservers

7、clusterisapreferablesolutiontotheproblemraisedabove.Ontheinternationalanddomesticmarketnowadays,thereareavarietyofcommercialandopen-sourcecacheproducts.However,mostofthemhaveshortcomingstovaryingdegreesonth