云计算-主流解决方案课件.ppt

《云计算-主流解决方案课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、云计算主流解决方案主流解决方案厂商的发展策略及现状主流解决方案——Google云计算数据存储在“云”中数据访问不受地理位置限制数据能够很方便的共享Google云计算技术具体包括：Google文件系统海量数据分布存储技术(GFS)、分布式计算编程模型MapReduce、分布式锁服务Chubby分布式结构化数据存储系统Bigtable等。主流解决方案——Google云计算Google需要一个支持海量存储的文件系统购置昂贵的分布式文件系统与硬件？Google设计GFS的动机是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？5为什么不使用当时现存的文件系统

2、？Google所面临的问题与众不同不同的工作负载，不同的设计优先级（廉价、不可靠的硬件）需要设计与Google应用和负载相符的文件系统Google设计GFS的动机一个适用于大规模分布式数据处理相关应用的，可扩展的分布式文件系统。它基于普通的不算昂贵的硬件设备，实现了容错的设计，并且为大量客户端提供极高的聚合处理性能。GFS6GFS的假设与目标硬件出错是正常而非异常系统应当由大量廉价、易损的硬件组成必须保持文件系统整体的可靠性主要负载是流数据读写主要用于程序处理批量数据，而非与用户的交互或随机读写数据写主要是“追加写”，“插入写”非常少需要存储大尺寸的文件存储的

3、文件尺寸可能是GB或TB量级，而且应当能支持存储成千上万的大尺寸文件7将文件划分为若干块（Chunk）存储每个块固定大小（64M）通过冗余来提高可靠性每个数据块至少在3个数据块服务器上冗余数据块损坏概率？通过单个master来协调数据访问、元数据存储结构简单，容易保持元数据一致性无缓存GFS的设计思路8GFS将容错的任务交给文件系统完成，利用软件的方法解决系统可靠性问题，使存储的成本成倍下降。GFS将服务器故障视为正常现象，并采用多种方法，从多个角度，使用不同的容错措施，确保数据存储的安全、保证提供不间断的数据存储服务。GFS架构是怎样的？GFS系统架构Cli

4、ent（客户端）：应用程序的访问接口Master（主服务器）：管理节点，在逻辑上只有一个，保存系统的元数据，负责整个文件系统的管理ChunkServer（数据块服务器）：负责具体的存储工作。数据以文件的形式存储在ChunkServer上控制流状态流IO并行需要存储的数据种类繁多：Google目前向公众开放的服务很多，需要处理的数据类型也非常多。包括URL、网页内容、用户的个性化设置在内的数据都是Google需要经常处理的海量的服务请求：Google运行着目前世界上最繁忙的系统，它每时每刻处理的客户服务请求数量是普通的系统根本无法承受的商用数据库无法满足Goog

5、le的需求：一方面现有商用数据库设计着眼点在于通用性，根本无法满足Google的苛刻服务要求；另一方面对于底层系统的完全掌控会给后期的系统维护、升级带来极大的便利设计动机分布式结构化数据表Bigtable设计动机与目标基本目标高可用性Bigtable设计的重要目标之一就是确保几乎所有的情况下系统都可用广泛的适用性Bigtable是为了满足系列Google产品而非特定产品存储要求简单性底层系统简单性既可减少系统出错概率，也为上层应用开发带来便利很强的可扩展性根据需要随时可以加入或撤销服务器数据模型Bigtable是一个分布式多维映射表，表中的数据通过一个行关键

6、字（RowKey）、一个列关键字（ColumnKey）以及一个时间戳（TimeStamp）进行索引Bigtable对存储在其中的数据不做任何解析，一律看做字符串Bigtable的存储逻辑可以表示为：Bigtable数据模型(row:string,column:string,time:int64)→string数据模型行Bigtable的行关键字可以是任意的字符串，但是大小不能超过64KB。Bigtable和传统的关系型数据库有很大不同，它不支持一般意义上的事务，但能保证对于行的读写操作具有原子性（Atomic）表中数据都是根据行关键字进行排序的，排序

7、使用的是词典序。一个典型实例，其中com.cnn.www就是一个行关键字。不直接存储网页地址而将其倒排是Bigtable的一个巧妙设计。这样做至少会带来以下两个好处同一地址域的网页会被存储在表中的连续位置，有利于用户查找和分析倒排便于数据压缩，可以大幅提高压缩率由于规模的问题，单个的大表不利于数据处理，因此Bigtable将一个表分成了多个子表，每个子表包含多个行。子表是Bigtable中数据划分和负载均衡的基本单位。数据模型列Bigtable并不是简单地存储所有的列关键字，而是将其组织成所谓的列族（ColumnFamily），每个族中的数据都属于同

8、一个类型，并且同族的数据会被压缩在一起