最新云计算——分布式存储PPT课件.ppt

《最新云计算——分布式存储PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、云计算——分布式存储Outline5.1分布式存储的基础5.2文件存储5.3从单机存储系统到分布式存储系统5.4实践：分布式存储系统CephMachineLearningDomainexpertiseMathematicsDataengineering5.1分布式存储的基础5.1.1基本概念5.1.2分布式存储分类5.1.3分布式存储的发展历史2分布式键值（Key-Value）系统分布式键值系统用于存储关系简单的半结构化数据，它提供基于主键的CRUD（Create/Read/Update/Delete）

2、功能，即根据主键创建、读取、更新或者删除一条键值记录。典型的系统有AmazonDynamo。分布式键值系统是分布式表系统的一种简化，一般用作缓存，比如Memcache。从数据结构的角度看，分布式键值系统支持将数据分布到集群中的多个存储节点。一致性散列是分布式键值系统中常用的数据分布技术，由于在众多系统中被采用而变得非常有名。3分布式表系统分布式表系统主要用于存储半结构化数据。与分布式键值系统相比，分布式表系统不仅仅支持简单的CRUD操作，而且支持扫描某个主键范围。分布式表系统以表格为单位组织数据，每个表

3、格包括很多行，通过主键标识一行，支持根据主键的CRUD功能以及范围查找功能。典型的分布式表系统包括GoogleBigtable、MicrosoftAzureTableStorage、AmazonDynamoDB等。4分布式数据库分布式数据库是从传统的基于单机的关系型数据库扩展而来，用于存储大规模的结构化数据。分布式数据库采用二维表格组织数据，提供经典的SQL关系查询语言，支持嵌套子查询、多表关联等复杂操作，并提供数据库事务以及并发控制。关系数据库是目前为止最为成熟的存储技术，功能丰富，有完善的商业关系数

4、据库软件的支持。随着大数据时代的到来，为了解决关系数据库面临的可扩展性、高并发以及性能方面的问题，各种各样的非关系数据库不断涌现，这类被称为NoSQL的系统，可以理解为“NotOnlySQL”的含义。图5.2分布式文件系统的发展5.1.3分布式存储的发展历史1．20世纪80年代的代表：AFS、NFS、Coda（1）AFS：1983年CMU和IBM共同合作开发了Andrew文件系统（AndrewFileSystem，AFS）（2）NFS：1985年，Sun公司基于UDP开发了网络共享文件系统（Networ

5、kFileSystem,NFS）（3）Coda：1987年，CMU在基于AFS的基础上开发了Coda文件系统5.1.3分布式存储的发展历史2．20世纪90年代的代表：XFS、TigerShark、SFS5.1.3分布式存储的发展历史XFS：加州大学伯克利分校（UCBerkeley）开发了XFS文件系统，克服了以往分布式文件系统只适用于局域网而不适用于广域网和大数据存储的问题，提出了广域网进行缓存较少网络流量设计思想，采用层次命名结构，减少Cache一致性状态和无效写回Cache一致性协议，从而减少了网络

6、负载，在当时获得了一定的成功。3．20世纪末的代表：（1）SAN（StorageAreaNetwork）（2）NAS（NetworkAttachedStorage）（3）GPFS（GeneralParallelFileSystem）（4）GFS（GoogleFileSystem）（5）HDFS（HadoopDistributedFileSystem）5.1.3分布式存储的发展历史（1）SAN（StorageAreaNetwork）通过将磁盘存储系统和服务器直接相连的方式提供一个易扩展、高可靠的存储环境，

7、高可靠的光纤通道交换机和光纤通道网络协议保证各个设备间链接的可靠性和高效性。设备间的连接接口主要是采用FC或者SCSI。图5.3SAN网络结构（2）NAS（NetworkAttachedStorage）通过基于TCP/IP的各种上层应用在各工作站和服务器之间进行文件访问，直接在工作站客户端和NAS文件共享设备之间建立连接，NAS隐藏了文件系统的底层实现，注重上层的文件服务实现，具有良好的扩展性图5.4NAS存储网络结构（3）GPFS（GeneralParallelFileSystem）GPFS是IBM公

8、司开发的共享文件系统，起源于IBMSP系统上使用的虚拟共享磁盘技术。GPFS是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。GPFS允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。它同时还提供了许多标准的UNIX文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。（4）GFS（GoogleFileSystem）图5.5GFS架构图（5）HDFS（HadoopDistributedFileSy