大规模键值分布式存储系统的设计与实现

《大规模键值分布式存储系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA专业学位硕士学位论文MASTERTHESISFORPROFESSIONALDEGREE论文题目大规模键值分布式存储系统的设计与实现专业学位类别工程硕士学号201022230121作者姓名邢屹指导教师鲁珂副教授万方数据分类号密级注1UDC学位论文大规模键值分布式存储系统的设计与实现（题名和副题名）邢屹（作者姓名）指导教师鲁珂副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士专业学位类别工程硕士工程领域名称软件工程提交论文日期2013.

2、03论文答辩日期2013.04学位授予单位和日期电子科技大学2013年06月28日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。万方数据THEDESIGNANDIMPLEMENTOFALARGE-SCALEKEY-VALUEDISTRIBUTEDSTORAGESYSTEMAThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:SoftwareEngineeringAuthor:XingYiAdvisor:LuKeSchoolofInformatio

3、nandSoftwareSchool:Engineering万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和

4、借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日万方数据摘要摘要随着互联网的不断发展，全球网络化的不断普及，海量信息的不断聚合，数据量保持指数级增长。面对当前的海量数据，传统的单机文件存储系统并不能提供其所需要的存储能力和高性能读、写需求，同时，传统文件系统的扩展性不佳也使得当数据业务需求发生变化时服务能力不足。鉴于此，本文中提出了一种新型的分布式键值存储系统的架构模型，该模型通过结合散列算法和一致

5、性哈希算法，不仅解决了已有分布式系统中存在的扩展性问题和节点负载均衡问题，同时有效的避免了当机器数目发生改变时，数据移动代价过高的问题。本文的主要工作有：第一，介绍了当前管理海量数据的主要问题，以及本文的研究动机。第二，详细分析了已有的分布式存储系统，包括NFS系统，HDFS系统，DYNAMO系统等当前比较主流的分布式文件存储系统，这些系统的相关核心技术对于本文中设计的分布式存储系统具有良好的借鉴性和参考性。第三，在相关技术准备完成后，本文设计了一种新的大规模键值分布式存储系统的架构方式，该系统使用三层的架构模式，同时在三层中都设计了良好的灾备方案，从

6、前端服务器层，到最底层的数据节点层，都尽可能的在保证高效性的前提下设计了良好的灾备机制，虽然数据备份牺牲了一定的数据一致性，但仍可以很好的满足应用需求。第四，完成系统设计后，本文中使用python语言对系统进行了仿真，将三层架构分解为三个实现模块，并将每一个模块再次详细拆分为不同功能的子模块，使得整个系统的耦合性降到最低。第五，为了保证系统的功能完备性和可靠性，本文对该系统做了细致的测试，包括功能测试和性能测试，测试结果完全符合预期的设计目标。第六，在论文的结束部分分析了一些可以优化本系统的技术和实现方式，并展望了分布式存储系统良好的发展前景。本文中成

7、功的设计并实现了一个新型的大规模分布式存储系统，对分布式存储系统的发展具有良好的探索和实践意义。关键词：分布式存储系统，散列，一致性哈希，键值I万方数据ABSTRACTABSTRACTWiththecontinuousdevelopmentoftheInternet,andthegrowingpopularityoftheglobalnetworkandthecontinuouspolymerizationofthemassiveamountsofinformation,theamountofdataisexponentiallygrowing.Tot

8、hecurrentmassiveinformation,traditionalstand-al