基于K—V模式的高可用性分布式存储技术研究.pdf

《基于K—V模式的高可用性分布式存储技术研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、DOI：10．3969／j．issn．1009-9492．2014．04．036基于K—V模式的高可用性分布式存储技术研究罗常(广东电网公司茂名供电局，广东茂名525000)摘要：随着互联网的普及，用户量的日益增多，每天互联网上产生的数据高达T级别甚至P级别，因此对数据的存储提出了更高的要求。针对K—V模式的高可用分布式存储技术进行研究，重点分析Dynamo系统的高移植性、高可用性、高扩展性特点，并对Dynamo系统中涉及的分布式哈希算法、哈希树、Gossip协议进行阐述。关键词：分布式存储；Dynamo统；哈希树；Gossip协议中图分类号：TP393文献标识码

2、：A文章编号：1009—9492(2014)04—0137一o4ResearchonHigh-AvailabilityDistributedStorageTechnologyBasedonK-．．VModeLU0Chang(MaomingPowerSupplyBureau，Maoming525000，China)Abstract：WiththedevelopmentofInternet，computersbecomeacommontoolindailylifeandmoreandmorepeopleenjoysurfingtheInternet．Withthein

3、creasingnumberofcustomersonIntemet，companieshavetodealwithdatainTBorevenPBeveryday，resultinginhigherrequirementofdatabasetocopewithlargescaledata．Thispapermainlyfocusesontheresearchononeofthedistributedatabase，anddistributedatabasewillandmustbeappliedwidelyinpractice，duetoitshighavail

4、ability，real-time，andgreatextensibility．Keywords：distributedstorage；dynamosystem；highavailability0引言致了系统吞吐量和性能上无法满足现在互联网的随着互联网的推广，越来越多的人更加依赖需求，再加上为了防止单点故障，数据必然有备于网络。新型互联网技术的出现，使得人们的生份与复制，在强一致性的要求下，又必将以损失活变得更加网络化。随之而来的是大数据问题，性能为代价。种种迹象表明传统数据库技术已经其中首当其冲的就是数据的存储问题，以及数据无法满足现在互联网公司的需求】。库实时

5、响应问题。以2013年阿里巴巴双十一活动所以，在这种情况下，分布式存储技术诞生当天的数据为例，2013年11月l1号，阿里巴巴了。分布式存储技术凭借其独特的高可用性、完公司旗下支付宝全天成交额高达350亿，支付宝全分布式存储，以及实时眭高等，已经成熟被应达成的交易笔数为1．7亿笔，全天总订单数量为用到各家大型互联网公司，比如百度、腾讯和阿1．67亿个，一天内最高峰值为13637人同时成功里巴巴等【4J。付款¨]。1分布式存储技术简介透过阿里巴巴公司的数据，可以看出互联网传统关系数据库在很多应用场合出现了瓶对数据库存储以及实时性的高要求。然而根据颈，例如磁盘I／0瓶

6、颈、可扩展性较差、分表分CAP原理(一致性、可用性、分区容忍性)，传统库、主从复制不易实施、无法不间断迁移等等，数据库没有分区容忍性，而是数据集中存储，导而NoSQL(Nonrelational，或者NotOnlySQL，非收稿日期：2014—02—26蕊l关系型数据库)弥补了关系型数据库的不足，吸引大量开发人员参与研究。根据数据的存储模型和特点，NoSQL可以分为key—val—ue存储、列式存储、文档式存储、对象式存储等。其中K—V存储模式使用比较广泛，比较典型的有亚马逊的Dynamo系统。2Dynamo系统特点及架构Dynamo是一个完全分布式的、无中心节点

7、的、高可靠性、高可用性和容错能力具有良好的系统。Dynamo作为key—value模型存储平台，性能、扩展性、可用性较好，得到了广泛的应用。一般情况下，它能保证99．99％的图1分布式哈希图读写访问响应时间都在300ms内。一个Dynamo存储平台其实是由多个不同的存(1)整个分布式系统组成一个环，环根据节储机器构成的，各机器独立且角色类似。各个存点的数目被化分为对应的区域；储机器都存放一部分数据文件，系统会自动完成(2)每个区域用一个范围值token表示这些数据的备份，由于系统的完全分布特点，不(n-1，n】；会因为单台机器断电等故障影响到系统的对外服(3)每个

8、节点负责一