云计算时代的数据存储与管理

《云计算时代的数据存储与管理》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、云计算时代的数据存储与管理姓名：高小宁学号：116032910032云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联M来提供动态易扩展且经常是虚拟化的资源。美同同家标准与技术研究院（NIST）将艽定义为：“云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。”云计算时代面对的是海

2、量的用户数据，如何对这些数据进行有效的管理是云计算需要解决的核心问题之一，本文主要对云计算时代的数据存储与管理技术进行了探索性的调研。一、云计算时代的数据存储特征分析云计算服务下的存储系统与传统的存储系统相比主要具有如下的不同点：云存储系统需要提供面向多种类型的网络在线存储服务，而传统的存储系统仅提供数据本地存储，易形成信息孤岛；云存储系统需耍考虑数据的安全、可靠、以及效率等指标，尤其在多用户，复杂网络环境K提供可靠的、高效的存储服务而临更人的挑战。凶此，为了构建高可靠存储系统，应充分划分元数据服务和文

3、件服务集群粒度，合理分布数据（元数据）。通过服务聚合、服务均衡和服务接管等技术提高文件（元数据）服务集群的服务质量。为了构建高适用的存储系统，在云环境下的多态环境和众多复杂的应用程序屮，应建立一种而向应用的便捷的资源管理机制，通过针对具体;、V:用模式优化资源管理，进一步提供定制的资源管理服务机制。现在摆在云计算数据存储与管理面前的问题有很多，其屮最主要的问题奋三种，科学有效的管理大量数据，快速有效的寻找出所需的数据，准确查找到有用的数据。云数据管理是依据云计算延仲而来的，主要利用集群效应、分布式文件系

4、统或网格技术等，把网络中的各种类型的存储设备通过;、V:用软件宥效整合，使其协同工作，实现对用户提供据存储和业务访问功能。苏具冇海量性、异构性和不确定性等特点。二、云计算下的数据存储云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数裾的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop1才

5、队开发的GFS的开源实现HDFS。GFS即Google文件系统(GoogleFileSystem),是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用

6、。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的。它里然运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。一个GFS集群巾一个主服务器(master)和大量的块服务器(chunkserver)构成，并被许多客户(client)访问。主服务器存储文件系统所有的元数据，包拈名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它还控制系统活动范围，如块租约(lease)管理，孤立块的垃圾收集，块服务器间的块迁移。主服务器定期通

7、过心跳(HeartBeat)消息与每一个块服务器通信，并收集它们的状态信息。(1)GFS一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成，并被许多客户(Client)访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约(lease)管理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信，给块服务器传递指令并收集它的状态。GFS中的文件

8、被切分为64MB的块并以冗余存储，每份数据在系统屮保存3个以上备份。客户与主服务器的交换只限于对元数据的操作，所有数裾方血的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。其体系结构如下：粗拥估息图1GFS体系架构(2)HDFSHadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。IIDFS是一个高度容错性的系统，适合部署在

9、廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。W)FS放宽了一部分POSIX约朿，来实现流式读取文件系统数据的目的。HDFS在最开始是作为ApacheNutch搜索引擎项目的基础架构而开发的。HDFS是ApacheHadoopCore项目的一部分。HDFS宥着高容错性(fault-tolerant)的特点，井且设计用来部署在低廉的(low-cost)硬件上。而J1它提供高吞吐量(highthroughput)