分布式存储系统(oceanstore)的复制策略

《分布式存储系统(oceanstore)的复制策略》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、http://www.paper.edu.cn分布式存储系统（OceanStore）的复制策略姜大光，奚嘉鹏北京化工大学信息科学与技术学院，北京（100029） E-mail：jiangdg@mail.buct.edu.cn摘要：OceanStore项目是Internet上基于P2P结构的分布存储应用，目标是向用户提供强持久 性、高可用性、可扩展性和安全性的服务。它的整个复制策略分为两个大的方面:Erasurecoding 和Replication，一份数据同时用Erasurecoding和Rep

2、lication实现，Erasurecoding主要保证数 据的持久性，Replication主要是为了保证用户的访问速度。关键词：OceanStore，分布存储，P2P，复制策略，Tapestry，分布式哈希表 中图分类号：TP301文献标识码：AP2P[1](peer-to-peer)技术能够有效实现对网络上数量巨大的资源进行有效管理和充分利用，与传统的Client/Server计算模式不同，它没有服务器和客户机之分，每个结点都是一个对等体(peer)，它们之间直接交换共享的计算、存储、信息等

3、资源和服务。OceanStore[2]是一个广域的P2P网络文件存储系统，P2P存储系统的基本目标是帮助用户把数据分布到广域网的多个结点上，并且保证数据的完整性、一致性、可靠性和可用性。与传统的基于集群或者局域网的分布式存储系统相比，P2P分布式存储系统具有以下优势：（1）存储容量更大。P2P存储系统中的一个存储结点既可以是一般的个人用户的PC机，也可以是基于集群的大型存储设备。（2）可靠性、可用性更高。P2P存储系统在整个Internet中搭建，数据在全球范围内分布，系统可以通过在广域网范围内进

4、行数据冗余管理增强数据的可靠性和可用性。（3）分布式访问效率更高。数据在全球范围分布的另一个好处是当数据有多备份时可以就近访问，对于一些经常处于移动中的用户这一点尤为重要。1.分布存储中复制策略的分析复制策略[3]总体来说是决定一个数据对象(object)同时应该拥有几个副本以及这些副本怎样在Internet上进行分布才能提供高的性能和有效的管理:数据复制作为分布存储系统的一个重要方面，必须解决两个基本问题:首先是性能，其次是管理的有效性。在没计一个复制策略时，必需考虑以下几个问题:（1）复制算法

5、的设计。复制算法是任何一个复制服务的核心，它对数据副本的读取和更新都有及其关键的影响，从根本上决定了一个系统的性能和管理的有效性。（2）一个数据对象需要维护的副本数。较少的副本易于管理，但是不能满足用户的访问速度需求，过多的副本则会给系统的管理带来很大的复杂性，因此，副本的数量必须保持合适，在访问速度和系统可控性方面达到平衡。（3）数据多版本问题。有些数据需要维护一定数量的历史记录，这就要求开发的系统能够支持多版本。-1-http://www.paper.edu.cn（4）数据更新问题。一个数据对

6、象有多个副本，更新时，首先需要考虑采用什么组通信技术，其次需要考虑采用哪种更新信息。（5）数据一致性程度。这包括强一致性和弱一致性。强一致性要求所有副本同步更新，会降低数据的可用性和访问速度；弱一致性则允许非同步更新，会产生一些过期的数据。（6）用户应用需求。网络上的应用侧重点各有不同(如访问速度，数据的多版本支持和读写频率)，开发具体的分布式存储系统时需要综合考虑这些因素，满足不同的用户需求。1.利用Tapestry构建虚拟网络系统中的副本结点是Tapestry[4]定位机制的一部分，主要用于数

7、据的定位，Tapestry是一个可升级的建在TCP/IP上的网络。在Tapestry中，每个主机和资源都是以GUID来命名的。每个加入的主机都被分配到一个GUID，然后在Tapestry上发布它们资源的GUID，其他主机就可以在Tapestry上查询到这些资源。通过Tapestry发送的消息就是用这些GUID来标识的，而不是用IP。然后Tapestry把消息通过路由发送到包含该GUID资源的主机。通过虚拟网络，OceanStore的运行从资源的地域性中脱离出来。而Tapestry中有地域标识，若有

8、多个拥有相同GUID的资源，它会从中选择在物理上相距最近的消息资源来提供给用户。Tapestry的路由规则简单地说就是对每个网络中的节点和与其相邻的节点都设了个匹配原则，根据GUID的匹配关系设立多个匹配链。与某节点的GUID第一位就不同的相邻节点都在该节点的L1链上，依此类推。如图1所示，从起点5230开始，通过查找与目标42AD第一位匹配的节点找到下一个节点400F，然后再查找该节点的L2链找到第二位相同的节点4227，接着匹配4227的L3链就找到42A2，最后通过其L4链就