大规模分布式存储技术研究

《大规模分布式存储技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学博士学位论文摘要随着Internet和网络应用的普及和飞速发展，分布式存储技术取得了长足的进步，同时也面临巨大的挑战:日益增加的用户数量，数据分布的地域空间更加广阔，数据存储量爆炸性增长，越来越高的数据可靠性要求以及访问数据的设备种类日益增多等。如何构建大规模、高效率、易于扩展、高可靠的存储系统，是分布式存储技术迫切需要解决的问题。本文从如何提供大规模、高可用、高效率分布式存储服务的角度出发，在对分布式存储领域的最新研究成果进行了系统、全面的学习和总结的基础上，对分布式协作存储、Internet范围内的大规模分布式存储两个方面

2、进行了深入细致地研究，取得了若干创新和成果。本文的主要创新点包括:1、提出了一种分布式协作存储机制一Co-Store.Co-Store将各节点的空闲磁盘空间组织成一个统一的存储池，通过节点之间的相互协作实现数据的容错和共享。Co-Store以P2P完全图拓扑结构组织节点，采用多目录树名字空间、分片冗余以及并行传输等机制为用户提供高效、可靠的存储服务。2、提出了一种基于P2P的海量存储机制一GStore.GStore采用具有高扩展性的P2P体系结构，将大量分散的节点组织成一个逻辑网络，以此构建面向Internet的大规模分布式存储系统。GS

3、tore采用动态P2P路由机制、优化的数据分布策略、自适应的副本管理以及并行传输机制为用户提供高效、可靠的存储服务。3、提出了一种P2P动态路由机制一DynRouteoDynRoutet'l一对常用P2P路由算法依赖显式的静态IP地址的问题，解藕全局节点号与IP地址，引入分布式地址映射服务，保证动态地址环境中的正确路由和对象定位。地址映射服务及时检测节点IP地址的变化，完成节点全局标识号NID到节点当前IP地址的映射，并为地址映射引入安全认证机制，防御IP欺骗。电子科技大学博士论文4、提出了一种分布式数据存储模型。该模型从

4、分布式数据存储的基本需求抽象出描述数据存储策略的性能指标，通过分析和计算各种数据存储方式的性能，为分布式数据存储建立了评价和决策机制，并用多面体视图描述了各种数据分布策略。该模型指导数据如何在节点之间分布，并以较合理的代价满足应用需求。5、提出了一种自适应副本管理机制一AdpReplicaoAdpReplica描述了数据可用性、数据一致性维护开销二者和文件副本数的关系，以此建立自适应的副本约束机制。该机制综合考虑用户对可用性、访问效率的需求以及数据一致性的维护开销，对副本的数目进行动态管理，它既能提高数据可用性、降低访问延迟、避免HotS

5、pots的产生，又能减少维护数据一致性的带宽消耗，为用户提供了较好的存储服务。关键词:分布式存储，P2P，动态路由，数据存储模型，自适应副本管理电子科技大学博士学位论文AbstractAlongwiththerapiddevelopmentofInternetandnetworkapplication,thedistributedstoragetechnologyhasmadegreatprogress.However,itisconfrontedwithgreatchallengessuchastheincrementalnumbero

6、fuser,thebroaderareasofdatadistribution,thesharpincreaseintheamountofdatastorage,themorecriticalrequirementofavailability,andtherapidexpansioninthetypesoftheequipments,andsoon.Howtoconstructadistributedstoragesystemwithlarge-scale,efficiency,extensibility,andreliabilityis

7、asubjectthatneedstoberesolvedurgently.Thisdissertationexploresthetechnologyofdistributeddatastoragetoprovidehigh-availabilityandhigh-performancedistributedstorageservice.Basedonthesystematicsummarizationoftherelevantworkondistributeddatastorage,thisdissertation,notonlycar

8、ryaresearchonthedistributedcooperativestorageandtheInternetorientedlarge-scaledistributedstorage