分布式文件系统多文件副本的管理方法

《分布式文件系统多文件副本的管理方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、分布式文件系统多文件副本的管理方法技术领域本发明属于分布式文件系统中文件副本管理技术领域。更具体地,本发明涉及一个分布式文件系统中文件副本的创建、副本的定位、副本的选择和副本的一致性维护等问题。背景技术在广域网的服务型分布式存储系统中，每个存储结点都是专门提供服务的服务器，系统的结构不会频繁变化，因此结点的稳定性比较强。然而在发生系统故障或者网络故障时，部分结点会无法提供稳定的文件服务。分布式文件系统的突出特点就是具有位置的透明性和迁移透明性，文件分布保存在不同的存储节点上，这些分布式文件系统基本满足了大规模存储系统的需要。然而在文件访问性能、系统的可靠性和稳定性等诸多方面

2、还存在一定问题。文件的副本可以有效的提高系统的可靠性，在系统中一个或多个副本发生故障时，可以对其他的副本进行操作，保证了系统的可用性。多个副本可以有效的将访问负荷分散到多个服务器上，提供系统负载量的灵活扩展。文件副本同时提供地域上的扩展，在使用文件数据附近的地方存放一个副本，减少了访问的响应时间。由于副本复制目标，副本复制的粒度和应用环境的差异，传统的简单副本管理方法并不能很好的应用在分布式文件系统中。目前的分布式文件系统具有动态网络环境、海量文件数据和负载均衡等特点，需要针对这些特点，研究满足要求的多文件副本管理方法。目前国内外副本创建策略的研究中,提出了如BestCli

3、ent副本创建策略,瀑布副本创建策略，缓存加瀑布创建策略和快速传播副本创建策略,这些策略针对数据网格的特点，如源数据存储于网格系统的顶层结点，网格系统具有层次性的网络拓扑结构。另外一种基于用户驱动的副本创建策略是基于域内副本衍生和域间副本扩展策略，域内副本衍生策略通过在域内衍生副本增加用户的数据访问点以实现域内文件主机的负载均衡性，域间副本扩展策略依据Popular原则即用户访问副本次数驱使副本在域间扩展，减少了用户的访问延迟和带宽消耗。在副本的一致性维护问题上，Gnutella采用基于洪泛的副本一致性维护算法，更新初始化节点将消息通过广播的方式告诉邻接节点，其邻接节点再将

4、此消息转发到它的下一轮邻接节点,以这种类似广度优先搜索的方式将更新消息传送到网络中所有的副本。有一种基于副本链(ReplicaChain)的副本一致性维护算法，更新消息通过副本链传递，网络中每个节点是副本链中的一个点，每次更新消息传递给链中邻近的k个节点，这种方法可以有效地减少冗余消息的产生，但是每个节点必须维护一个周围节点的副本链，在无结构分散P2P网络中，节点只知道其直接相连的邻节点，构造和维护一个副本节点链带来了额外消息交互开销。CFS是采用了chord查找方式的结构化P2P系统，其中存储以文件块为单位，文件块副本放置在通过哈希得到的结点以及该结点在chord环中的k

5、个直接后续上。同时通过系统维护来保证k个后续上始终存在副本，即使有结点加入或退出。由于后续的k个相邻结点在物理地址上不太可能相邻，提高了利用副本的可靠性。用户来下载时，将返回k个副本的地址以及它们到用户的下载速率估计，由用户选择最佳副本进行下载。当前已有的文件副本创建和一致性维护方法都具有相应的局限性，仅适合于数据网格或结构化的P2P网络，对于分布式文件系统，需要一种灵活的文件副本创建、定位、选择和维护方法。发明内容本发明的目的在于提供一种适用于分布式文件系统的副本管理方法，弥补当前分布式文件系统副本创建和维护的局限性和不足，对现有的副本管理方法和策略进行改进。本发明的文件

6、副本管理采用基于频率的副本管理机制FRM(FrequencyBasedReplicationManagement)，该管理方法具体包括副本粒度管理、副本创建策略、副本选择和定位、副本的一致性维护方法。基于频率的副本管理机制可以根据文件的读写访问频率和访问来源等信息动态改变文件副本的状态。通过文件副本数量的动态增减和存储位置的迁移，实现最佳的系统服务性能，并减少过多副本占用存储资源的问题。文件副本的创建方法包括用户发起的创建和结点发起的创建，这两种创建策略解决了系统缺省创建副本的盲目性和低利用率。本发明采用数据网格的方法和基于利润驱动的策略，解决了分布式文件系统的副本创建问题

7、。副本的定位提供将逻辑文件映射到一个合适的副本上，将选择代价最小和访问效率最高的副本提供给用户使用。副本的一致性维护方法解决副本的更新问题，采用了订阅副本树的方法管理副本的一致性。本发明方法的提供的服务继承了分布式文件系统的优良特性，包括松散耦合、高可用性、高可靠性和高性价比，文件的多副本的冗余机制保证了系统的可靠性和容错特性，提供了多源文件数据的并行传输的特性。具体而言，本发明据有以下特色：（1）文件副本维护由系统自动完成，无需用户干预，对用户透明。文件的副本数量过多时，会占用系统存储资源，保持这些副本的同步和一