《云计算（第三版）》配套之02：第2章Google云计算原理与应用（一）.pptx

《《云计算（第三版）》配套之02：第2章Google云计算原理与应用（一）.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2.1Google文件系统GFS2.2分布式数据处理MapReduce2.3分布式锁服务Chubby2.4分布式结构化数据表Bigtable2.5分布式存储系统Megastore2.6大规模分布式系统的监控基础架构Dapper2.7海量数据的交互式分析工具Dremel2.8内存大数据分析系统PowerDrill2.9Google应用程序引擎全球最大搜索引擎、GoogleMaps、GoogleEarth、Gmail、YouTube等。这些应用的共性在于数据量巨大，且要面向全球用户提供实时服务。2.1Google文件系统GF

2、S2.1.1系统架构2.1.2容错机制2.1.3系统管理技术GFS的系统架构应用程序GFS客户端(文件名，Chunk索引)(Chunk句柄Chunk位置)GFS主服务器文件命名空间/foo/barChunk2ef0向数据块服务器发出指令数据块服务器状态GFS数据块服务器Linux文件系统GFS数据块服务器Linux文件系统……(Chunk句柄，字节范围)Chunk数据…标注：数据信息控制信息42.1Google文件系统GFSGFS将整个系统节点分为三类角色Client（客户端）Master（主服务器）ChunkServe

3、r（数据块服务器）Client是GFS提供给应用程序的访问接口，以库文件的形式提供Master是GFS的管理节点，负责整个文件系统的管理ChunkServer负责具体的存储工作系统节点GFS52.1Google文件系统GFSGFS的实现机制客户端首先访问Master节点，获取交互的ChunkServer信息，然后访问这些ChunkServer，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。Client与ChunkServer

4、之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个ChunkServer，从而使得整个系统的I/O高度并行，系统整体性能得到提高。62.1Google文件系统GFSGFS的特点1采用中心服务器模式可以方便地增加ChunkServerMaster掌握系统内所有ChunkServer的情况，方便进行负载均衡不存在元数据的一致性问题72.1Google文件系统GFSGFS的特点2不缓存数据文件操作大部分是流式读写，不存在大量重复读写，使用Cache对性能提高不大ChunkServe

5、r上数据存取使用本地文件系统从可行性看，Cache与实际数据的一致性维护也极其复杂82.1Google文件系统GFSGFS的特点3在用户态下实现利用POSIX编程接口存取数据降低了实现难度，提高通用性POSIX接口提供功能更丰富用户态下有多种调试工具Master和ChunkServer都以进程方式运行，单个进程不影响整个操作系统GFS和操作系统运行在不同的空间，两者耦合性降低92.1Google文件系统GFS2.1Google文件系统GFS2.1.1系统架构2.1.2容错机制2.1.3系统管理技术Master容错为了防止

6、Master彻底死机的情况，GFS还提供了Master远程的实时备份Master命名空间（NameSpace），也就是整个文件系统的目录结构。Chunk与文件名的映射表。Chunk副本的位置信息，每一个Chunk默认有三个副本。日志直接保存在各个ChunkServer上当Master发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据112.1Google文件系统GFSChunkServer容错GFS采用副本的方式实现ChunkServer的容错每一个Chunk有多个存储副本（默认为三个）对于每一个Chunk，

7、必须将所有的副本全部写入成功，才视为成功写入相关的副本出现丢失或不可恢复等情况，Master自动将该副本复制到其他ChunkServerGFS中的每一个文件被划分成多个Chunk，Chunk的默认大小是64MB每一个Chunk以Block为单位进行划分，大小为64KB，每一个Block对应一个32bit的校验和122.1Google文件系统GFS2.1Google文件系统GFS2.1.1系统架构2.1.2容错机制2.1.3系统管理技术系统管理技术系统管理技术大规模集群安装技术故障检测技术节点动态加入技术节能技术GFS集群

8、中通常有非常多的节点，需要相应的技术支撑GFS构建在不可靠廉价计算机之上的文件系统，由于节点数目众多，故障发生十分频繁新的ChunkServer加入时，只需裸机加入，大大减少GFS维护工作量Google采用了多种机制降低服务器能耗，如采用蓄电池代替昂贵的UPS142.1Google文件系统GFS2.1Google文件