集群式对象存储

《集群式对象存储》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、集群式对象存储传统存储应用程序只看到Posix接口(Open,Read,Write…)，且通过Posix接口访问文件文件系统有两个工作：负责文件在硬盘上的存储，并负责向上层的应用程序提供文件访问服务硬盘内容=元数据(目录)+数据(文件内容)对象存储应用程序只看到Posix接口(Open,Read,Write…)，且通过Posix接口访问文件文件系统(客户端)负责向上层应用程序提供文件访问服务，文件系统(存储管理)负责文件在硬盘上的存储，即文件系统(客户端)不关心文件是如何存储的文件系统(客户端)和文件系统(存储管理)通过对象接口交互。很容易实现

2、网络化的客户-服务器服务模式硬盘内容=元数据(目录)+数据(文件内容)集群式对象存储应用程序只看到Posix接口(Open,Read,Write…)，且通过Posix接口访问文件文件系统(客户端)负责向上层应用程序提供文件访问服务文件系统(存储管理)=文件系统(元数据管理)+文件系统(数据管理)元数据服务器的硬盘内容=元数据(目录)。元数据服务器可扩展为多个对象存储设备的硬盘内容=数据(文件内容)。对象存储设备可扩展为多个集群式对象存储文件是如何在集群式对象存储上存储的？对象存储设备，本质上就是服务器10台服务器，每一台服务器有5个硬盘集群式对

3、象存储文件是按文件块(约为1MB或4MB)分布在不同服务器的不同硬盘上由于任何一个服务器或硬盘存在失效的可能，所以，每一个文件有一个或多个副本注意：文件块的存储策略，还能基于不同的机架，或不同的数据中心集群式对象存储文件A和文件B在集群式对象存储中的分布元数据(目录)服务器负责提供文件系统的目录信息文件A和文件B的分布情况存储在元数据(目录)服务器中，且受元数据服务器的管理集群式对象存储1、文件系统(客户端)通过元数据服务器知道文件A在集群式对象存储上的分布2、文件系统(客户端)逐次访问不同的对象存储设备，获取文件A的内容每一个服务器(包括硬件

4、和软件)的健康状态被系统监控元数据服务器负责文件在对象存储设备上的存储分布，以及调整(如增加、减少、迁移)集群式对象存储自动备份当文件被写入时，元数据服务器会根据给定的策略，指示文件块如何被写入策略包括：1)文件有几个副本;2)副本是否存在不同的地方(如不同的数据中心、不同的机架、不同的服务器、不同的硬盘)集群式对象存储自动恢复当系统发现一个服务器或服务器上的一个硬盘失效时，会指示元数据服务器把该失效设备上的数据再次备份，保证文件的可靠性集群式对象存储自动恢复当系统发现一个服务器或服务器上的一个硬盘失效时，会指示元数据服务器把该失效设备上的数据

5、再次备份，保证文件的可靠性。系统自愈是自动的，不需要管理员的参与集群式对象存储高性能文件是按块从不同服务器的不同硬盘上访问的--->1)很难有热点效应(动态调整)2)I/O带宽是聚合的自动的负载均衡只需要元数据服务器按一定的条件调整文件块的分布集群式对象存储把文件系统的目录信息独立出来，由元服务器来提供(均连接到其上)，带来以下好处：1)统一的名字空间，有利于应用之间的数据共享2)在线扩展，有利于系统的扩展3)其他的：聚合性能、自动负载均衡、自动恢复、自动备份集群式对象存储集群式对象存储优点1)海量存储:支持PB级的存储空间，可高效管理上百亿个

6、文件对象，单目录可以有效支持千万级的文件数量。2)虚拟化存储:统一的命名空间，所有应用服务器看到一致视图，方便全局文件系统的部署和扩展，同时确保数据中心内部应用系统的可靠性和容错能力。3)高性能:具有高效数据读写技术和文件查询技术，能够提供高达几十个GB的稳定聚合带宽(并行I/O,直接访问)，每秒数十万个的文件查询效率(元服务器是集群)。4)高可用:自动故障探测和高效的自动恢复和容错技术，保证系统的高可用特性。结构上--->对象服务器+元服务器；数据上--->多副本。5)易扩展:支持在线扩容功能，扩容过程无需中断上层应用的正常运行，同时系统的总

7、体IO带宽随着规模的扩大成线性增长。6)低成本:标准的服务器7)支持异质结构:无缝集成已有的存储系统8)自适应的负载均衡：I/O性能和存储分配FCSAN(光纤通道式存储区域网)SAN1)SAN，存储区域网络，是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时，数据可以通过存储区域网络在服务器和后台存储设备之间高速传输2)SAN是存储网络架构，与设备类型和协议无关：FCSAN和IPSAN3)SAN是块级的FCSANFC协议先于以太网支持千兆带宽，所以先有FCSANFCSAN(光纤

8、通道式存储区域网)SAN的优点1)设备整合。多台服务器可以通过存储网络同时访问后端存储系统，不必为每台服务器单独购买存储设备，降低存储设备异构化程度，