ceph分布式存储介绍

《ceph分布式存储介绍》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、实用文案Ceph分布式存储1Ceph存储概述Ceph最初是一项关于存储系统的PhD研究项目，由SageWeil在UniversityofCalifornia,SantaCruz（UCSC）实施。Ceph是开源分布式存储，也是主线Linux内核（2.6.34）的一部分。1.1Ceph架构Ceph生态系统可以大致划分为四部分（见图1）：客户端（数据用户），元数据服务器（缓存和同步分布式元数据），一个对象存储集群（将数据和元数据作为对象存储，执行其他关键职能），以及最后的集群监视器（执行监视功能）。图1Ceph生态系统如图1所示，客户使用元数据服务器，执行元数据操

2、作（来确定数据位置）。元数据服务器管理数据位置，以及在何处存储新数据。值得注意的是，元数据存储在一个存储集群（标为“元数据I/O”）。实际的文件I/O发生在客户和对象存储集群之间。这样一来，更高层次的POSIX功能（例如，打开、关闭、重命名）就由元数据服务器管理，不过POSIX标准文档实用文案功能（例如读和写）则直接由对象存储集群管理。另一个架构视图由图2提供。一系列服务器通过一个客户界面访问Ceph生态系统，这就明白了元数据服务器和对象级存储器之间的关系。分布式存储系统可以在一些层中查看，包括一个存储设备的格式（ExtentandB-tree-basedO

3、bjectFileSystem[EBOFS]或者一个备选），还有一个设计用于管理数据复制，故障检测，恢复，以及随后的数据迁移的覆盖管理层，叫做ReliableAutonomicDistributedObjectStorage（RADOS）。最后，监视器用于识别组件故障，包括随后的通知。图2ceph架构视图1.1Ceph组件了解了Ceph的概念架构之后，您可以挖掘到另一个层次，了解在Ceph中实现的主要组件。Ceph和传统的文件系统之间的重要差异之一就是，它将智能都用在了生态环境而不是文件系统本身。图3显示了一个简单的Ceph生态系统。CephClient是C

4、eph文件系统的用户。CephMetadataDaemon提供了元数据服务器，而CephObjectStorageDaemon提供了实际存储（对数据和元数据两者）。最后，CephMonitor提供了集群管理。要注意的是，Ceph客户，对象存储端点，元数据服务器（根据文件系统的容量）可以有许多，而且至少有一对冗余的监视器。那么，这个文件系统是如何分布的呢？标准文档实用文案图3简单的Ceph生态系统1.1Ceph客户端因为Linux显示文件系统的一个公共界面（通过虚拟文件系统交换机[VFS]），Ceph的用户透视图就是透明的。管理员的透视图肯定是不同的，考虑到很

5、多服务器会包含存储系统这一潜在因素（要查看更多创建Ceph集群的信息，见参考资料部分）。从用户的角度看，他们访问大容量的存储系统，却不知道下面聚合成一个大容量的存储池的元数据服务器，监视器，还有独立的对象存储设备。用户只是简单地看到一个安装点，在这点上可以执行标准文件I/O。Ceph文件系统—或者至少是客户端接口—在Linux内核中实现。值得注意的是，在大多数文件系统中，所有的控制和智能在内核的文件系统源本身中执行。但是，在Ceph中，文件系统的智能分布在节点上，这简化了客户端接口，并为Ceph提供了大规模（甚至动态）扩展能力。Ceph使用一个有趣的备选，而

6、不是依赖分配列表（将磁盘上的块映射到指定文件的元数据）。Linux标准文档实用文案透视图中的一个文件会分配到一个来自元数据服务器的inodenumber（INO），对于文件这是一个唯一的标识符。然后文件被推入一些对象中（根据文件的大小）。使用INO和objectnumber（ONO），每个对象都分配到一个对象ID（OID）。在OID上使用一个简单的哈希，每个对象都被分配到一个放置组。放置组（标识为PGID）是一个对象的概念容器。最后，放置组到对象存储设备的映射是一个伪随机映射，使用一个叫做ControlledReplicationUnderScalableH

7、ashing（CRUSH）的算法。这样一来，放置组（以及副本）到存储设备的映射就不用依赖任何元数据，而是依赖一个伪随机的映射函数。这种操作是理想的，因为它把存储的开销最小化，简化了分配和数据查询。分配的最后组件是集群映射。集群映射是设备的有效表示，显示了存储集群。有了PGID和集群映射，您就可以定位任何对象。1.1Ceph元数据服务器元数据服务器（cmds）的工作就是管理文件系统的名称空间。虽然元数据和数据两者都存储在对象存储集群，但两者分别管理，支持可扩展性。事实上，元数据在一个元数据服务器集群上被进一步拆分，元数据服务器能够自适应地复制和分配名称空间，避

8、免出现热点。如图4所示，元数据服务器管理名称空间部分