基于dht的分布式存储系统数据一致性的研究与实现

《基于dht的分布式存储系统数据一致性的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于DHT的分布式存储系统数据一致性的研究与实现STUDYANDIMPLEMENTATIONONDATACONSISTENCYOFDHT-BASEDDISTRIBUTEDSTORAGESYSTEM韩军辉哈尔滨工业大学2011年12月国内图书分类号：TP399学校代码：10213国际图书分类号：004.9密级：公开工学硕士学位论文基于DHT的分布式存储系统数据一致性的研究与实现硕士研究生：韩军辉导师：许洪光副教授申请学位：工学硕士学科：信息与通信工程所在单位：深圳研究生院答辩日期：2011年12月授予学位单位：哈尔滨工业大学Classified

2、Index:TP399U.D.C:004.9ThesisfortheMasterDegreeinEngineeringSTUDYANDIMPLEMENTATIONONDATACONSISTENCYOFDHT-BASEDDISTRIBUTEDSTORAGESYSTEMCandidate：JunhuiHanSupervisor：AssociateProf.HongguangXuAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：InformationandCommunicationEngineerin

3、gAffiliation：ShenzhenGraduateSchoolDateofDefence：Dec.2011Degree-Conferring-Institution：HarbinInstituteofTechnology摘要哈尔滨工业大学工学硕士学位论文随着信息爆炸式的增长，集中式的存储方式的瓶颈效应愈发明显的遏制了数据存储的扩展性和并发访问的效率等，SAN和NAS等传统集中式存储系统越来越难以满足海量数据存储的需要。为了解决诸如此类的传统存储的瓶颈问题，分布式存储系统和云存储系统相继被提出，并成为学术研究和商用的热点内容。分布式存储系统实现涉及

4、并使用的技术有很多，本文着重研究了分布式存储系统的数据一致性，实现了对系统高可用性和高可靠性的保证。在分析阐述分布式存储和云存储的现状和一致性维护相关技术之后，针对普遍使用的全分布式非结构化网络拓扑，提出了一种基于Two-HopDHT技术的存储和查询策略，该策略实现了索引和数据分离存储后索引和数据一致性维护的灵活处理；并针对现有分布式网络中节点失效场景进行了建模，设计了该模型下的副本放置策略；进一步提出了一种基于该Two-HopDHT策略的分布式存储系统DGS的数据一致性维护策略采用的混合一致性模型，分析实现了在一致性维护操作冲突下的数据一致性维护策略和

5、网络动态变化情况下的数据一致性维护策略，并通过定时同步和手动同步保证分布式存储系统中数据的一致性。本文重点实现了维护索引信息的一致性（异步维护数据的一致性），最终实现了存储海量数据的分布式存储系统的高可用性和高可靠性。关键词：分布式存储系统；Two-HopDHT；副本策略；节点失效模型；数据一致性-II-哈尔滨工业大学工学硕士学位论文AbstractWiththeexplosivegrowthofinformation,thebottleneckeffectofthecentralizedstorageisbecomingincreasinglyappa

6、rentlylimitsthedatastoragescalabilityandefficiencyofconcurrentaccesstothedataandsoon,traditionalcentralizedstoragesystems,suchasSANandNAS,isincreasinglydifficulttomeetthemassivedatastorageneeds.Inordertosolvethissortofbottleneckoftraditionalstorage,distributedstoragesystemsandclo

7、udstoragesystemshavebeenproposed,andbecomeahotresearchfocusofboththeacademicandthecommercial.Distributedstoragesystemsimplementandusealotofthetechnologies,thispaperhavefocusedonthedataconsistencyofthedistributedstoragesystems,andachievedhighsystemavailabilityandhighreliability.Af

8、teranalyzinganddescribingthestateofthedi