题目：云存储日志文件系统中快照的设计与实现 - googlecode

《题目：云存储日志文件系统中快照的设计与实现 - googlecode》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、题目：云存储日志文件系统中快照的设计与实现=======================================摘要：在逐步分析云存储日志文件系统中快照机制的基础上，设计并实现了基于HLFS(HadoopDFSlog-structuredFile-system)云存储日志文件系统的快照系统。通过在HLFS中添加新的快照，从快照系统中就可以随时获取该快照的信息，并恢复该快照时的所有数据，使云存储系统能够及时的进行数据恢复，从而避免云存储中核心数据的丢失，保证了云存储中数据的安全性。为尽可能提高云存储日志文

2、件系统中快照系统的可扩展性与实用性，详细分析了快照在云存储日志文件系统中的设计与实现，并对比了几种快照实现方案。关键词：云存储，日志文件系统，快照；0引言云计算是分布式处理(DistributedComputing)、并行处理(ParallelComputing)和网格计算(GridComputing)的发展，是通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能

3、，将网络中各种不同类型的存储设备通过应用软件集合起来协同工作，从而为用户提供数据存储和业务访问的一个远端存储系统。云存储日志文件系统是云存储对外提供数据存储业务访问功能的一个文件系统。快照是云存储日志文件系统中一个重要组成部分，它是关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。快照的主要作用是能够进行在线数据备份与恢复。当存储设备发生应用故障或者文件损坏时可以进行快速的数据恢复，将数据恢复到某个可用的时

4、间点的状态。快照的另一个作用是为存储用户提供另外一个数据访问通道，当原数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。所有存储系统，不论高中低端，只要应用于在线系统，那么快照就成为一个不可或缺的功能。1快照在云存储日志文件系统中的实现机制云存储日志文件系统是由一个一个的日志(log)组成的线性序列，每个日志中包含了必要的实现语义，如数据块，索引块等结构。当然，有时为了方便管理以及垃圾回收等要求，可能还会把日志再细化或者在日志之上还要添加其他逻辑结构。如果想要实现快照，只需保留快照时刻

5、的日志结构相关信息即可。系统可以根据保留的日志结构恢复快照时刻的数据，从而实现数据恢复。实现快照的过程如图1所示，[Tn]表示Tn时刻对应日志的快照。

6、-------------------------LFS-------------------------------------

7、

8、...

9、log

10、log

11、log

12、...

13、log

14、log

15、...

16、log

17、log

18、...

19、

20、--------

21、----------------LFS-------------------------------------

22、

23、=[T

24、n]图1日志文件系统结构图在云存储日志文件系统中，我们将快照分为两种类型，检查点和快照。检查点可以被简单定义为自动进行的快照，也就是说无需外部触发，而是周期性地、或者按照某种条件自动触发。快照可以被认为是用户使用的接口，也就是在运行时创建的检查点，这种类型的快照是由用户触发,希望能永久性保留。1.1线性快照线性快照的含义是指系统所产生的快照都是按照时间顺序线性排列的。云存储日志文件中的每一个日志都可以作为一个快照，这些日志都是严格按照时间顺序组成线性的快照序列。图2就是一个线性快照，[T01]到[Tn]分别代表

25、不同时刻的日志。[T01][T02][T03][T04][T05][T06]...[Tn]图2线性快照结构图1.2树形快照树形快照的含义是指系统所产生的快照按照时间顺序组成一个树形结构。云存储日志文件系统要实现树形快照只需把每个快照连接起来形成一个树形结构。图3就是一个树形快照结构图。系统先连续创建了6个快照(T01---T06)，然后回滚到快照[T05],然后又创建了3个快照([T07],[T08],[T09])，然后又回滚到了快照[T03]，又创建了4个快照(T[10],T[11],T[12],T[13])

26、,最后系统回滚到了快照[T08],创建了2个快照(T[14],T[15])。[T13][T12][T11][T10][T01][T02][T03][T04][T05][T06][T07][T15][T14][T08][T09]图3树形快照结构图1.3线性快照和树形快照的对比云存储日志文件系统本身具备了线性快照的功能，无需进行额外的操作。但是如果要实现树形快照，则必须按照树形快照的结构对