ppdss存储系统设计与实现

《ppdss存储系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要随着Intemet的高速发展，各种形式的新型应用层出不穷。特别是以W曲2．0为代表的新一代互联网应用，给传统的数据存储模式带来了极大的挑战。以往的Intemet服务几乎都基于Client／Server模式，资源集中存储在服务器端。随着存储内容的急剧增长，单靠服务器已无法满足同样海量的互联网用户的访问需求。结合近年来流行的对等计算(P2P)技术，我们开发了基于专有存储服务器的、面向Intemet用户的数据存储服务。通过在广域网部署的少量存储服务器，形成了可靠的结构化覆盖网络(DHT)，向用户提供可保证的资源查找服务。存储服务器负责文件分片副本的存储与分发，通过少量的副本冗余即可保证数据的

2、可靠存储，避免了数据的单点故障，提供了极高的可用性。引入自适应的副本冗余管理算法，智能地控制副本的数量，引导副本向临近用户的存储服务器迁移，更能适应未来的移动互联网业务。通过让下载同一文件的用户构成P2P覆盖网络，利用它们的边缘带宽向其它客户提供上传服务，有效地减轻了Server的压力。即使面对海量的用户的请求，系统也能应付，保证了良好的可扩展性。为了保证存储服务器的高性能与高可靠性，网络IO采用非阻塞的异步处理机制，基于epoll的Reactor框架。系统中存在大量的定时器，在Reactor框架中实现了高效的定时器管理。磁盘IO的处理采用Linuxaio来实现，在其之上构建了高效的磁盘缓

3、存机制。通过UDP套接字实现了Chord查找算法。本系统分为服务器(ChunkServer)与客户端(Client)，ChunkServer以Linux2．6为开发平台，采用C++作为开发语言，运用面向对象的程序设计思想开发完成。如再加强对实际网络中的异常情况处理的话，可以作为基础的存储平台在Intemet部署并向广大用户提供可靠的存储服务。为了减轻存储服务器的服务压力和增加系统的吞吐量，我们原创性地设计并实现了基于分片放大能力的存储服务器直接邻居节点选择算法(PA．DNNS)。通过选取分片放大能力较大的peer，允许他们直接连上存储服务器下载分片再通过它们将分片快速分散到系统中，能有效地

4、改善peer的下载体验，特别是在内容新上线时。通过建模分析与实验验证，该算法确实能够有效地改善文件的整体分发效率，增加了系统的吞吐量。关键字：对等计算，分布式存储系统，直接邻居选择，异步10，非阻塞IAbstractABSTRACTWiththerapidgrowthoftheInternet，variousformsofnewapplicationshaveemergedinanendlessstream．EspeciallytheWeb2．0，representativeofthenewgenerationInternetapplications，hasbroughtgreatchal

5、lengestotraditionaldatastorage．Inthepast,InternetservicesweremostlybasedonClient／Servermodel，、)l，itlltheresourcesbeingstoredinthecentralizedservers．Withthesharpgrowthofthecontentsofstorage，it。SnotpossibletomeetthemassiveInteractusers’accessrequirementsonlybySerVerS．Incorporatingthecontemporarilypo

6、pularPeer-to·Peer(P2P)technique，basedondedicatedstorageservel暑andIntemetusersorientedmassivedatastorageservicehasbeendeveloped．AfewstorageSCI"Vb'奠'SwhicharedeployedinWAN，makingupthereliablestructuredoverlaynetworks，providethehternetUSeI'Swithguaranteedrcsourc昭locatingservice．Thestorageserversarere

7、sponsibleforpjecereplica’sstorageanddistribution，andtheredundancyprovidedbyafewreplicaswhichimprovethesystem’Savailability,avoidingsinglepointfailure．Byintroducingtheself-adaptivereplicaredundancymanagementalgori