云存储环境下分布式文件系统的副本策略研究

《云存储环境下分布式文件系统的副本策略研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERTHESIS（电子科技大学图标）论文题目云存储环境下分布式文件系统的副本策略研究学科专业计算机系统结构指导教师刘玓副教授作者姓名匡士杰学号201021060130万方数据分类号密级注1UDC学位论文云存储环境下分布式文件系统的副本策略研究（题名和副题名）匡士杰（作者姓名）指导教师刘玓副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机系统结构提交论文日期2013.03论文答辩日期2013.04学位授予单位和日期电

2、子科技大学2013年06月28日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。万方数据RESEARCHONREPLICATIONSTRATEGYOFDISTRIBUTEDFILESYSTEMINCLOUDSTORAGEAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerSystemArchitectureAuthor:ShijieKuangAdvisor:AssProf.DiLiuSchool:SchoolofComputerSci

3、ence&Engineering万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全

4、部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日万方数据摘要摘要随着互联网的高速发展，网络上产生的数据量呈爆炸式的增长，对这些数据的存储成为了计算机领域研究的热点。传统的存储方式，比如存储区域网络和网络附加存储因为其存储容量和性能存在瓶颈，价格昂贵，不易扩展等原因，应用范围受到限制。云存储采用分布式文件系统为核心，硬件设备价格低廉，可扩展性好。副本技术提高了系统的可靠性、可用性和性能的同时，也带来了负载均衡，网络带宽开销，一致性等问题。本文分析了当前典型的分

5、布式文件系统，结合云存储环境下的业务特征，研究了相应的副本策略，重点考虑系统访问的效率和性能，负载均衡，数据的一致性等问题，并根据这些需求设计和实现了分布式文件系统中的副本管理模块。本文的主要工作包括以下内容：（1）提出了基于一致性哈希的副本放置策略。传统的分布式文件系统副本放置位置主要通过元数据中心服务器存储，当系统并发访问量很大时，元数据服务器将成为系统的瓶颈。基于一致性哈希的副本放置策略很好的解决了文件检索，存储设备扩展和失效的问题。引入虚拟节点映射，极大地减少了系统设备的改变带来的数据迁移。同时对设备按照存储能力增加权重属性，更好的提高了系统的负载均衡。（2）

6、提出了基于文件热度的副本调整策略。该策略以文件的请求次数为基础，结合服务器的负载，动态地调整副本数量，提升了系统的性能和效率。同时，辅以副本压缩策略，对长时间没有访问的文件副本压缩，在保证数据可靠性和可用性的同时，节省了系统的存储空间。（3）提出了基于用户请求的副本一致性策略。该策略在对副本一致性维护的同时，充分考虑到了避免增加系统开销。同时，为了防止长期没有用户访问的文件不一致而使得数据的可靠性降低，副本失去冗余备份的作用，采用定时更新的机制，在系统空闲的时候将系统中副本各版本更新到一致状态。关键词：云存储，副本策略，负载均衡，一致性I万方数据ABSTRACTABS

7、TRACTWiththerapiddevelopmentoftheInternet,datainthenetworkgrowsexplosively，andthedatastoragehasbecomearesearchhotspotincomputerfield.Becausestoragecapacityandperformanceislimited,theapplicationsoftraditionalstoragemethods,suchastheSANandNAS,arerestricted.Astakingthecoreofdistri