Google云计算原理与应用

《Google云计算原理与应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、电子工业出版社《云计算(第二版)》配套课件解放军理工大学刘鹏教授主编华东交通大学刘鹏制作第2章Google云计算原理与应用《云计算（第二版）》购买网址：当当网京东商城姊妹力作《实战Hadoop》购买网址：当当网京东商城提纲Google文件系统GFS分布式数据处理MapReduce分布式锁服务Chubby分布式结构化数据表Bigtable分布式存储系统Megastore大规模分布式系统的监控基础架构DapperGoogle应用程序引擎Google文件系统GFS系统架构容错机制系统管理技术Google业务全球最大搜索引擎、GoogleMap

2、s、GoogleEarth、Gmail、YouTube等数据量巨大，且面向全球用户提供实时服务Google云计算平台技术架构文件存储，GoogleDistributedFileSystem，GFS并行数据处理MapReduce分布式锁Chubby分布式结构化数据表BigTable分布式存储系统Megastore分布式监控系统Dapper秘密武器：云计算平台！GFS设计动机Google需要一个支持海量存储的文件系统购置昂贵的分布式文件系统与硬件？为什么不使用当时现存的文件系统？Google所面临的问题与众不同不同的工作负载，不同的设计优先

3、级（廉价、不可靠的硬件）需要设计与Google应用和负载相符的文件系统是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？GFS将容错的任务交给文件系统完成，利用软件的方法解决系统可靠性问题，使存储的成本成倍下降。GFS将服务器故障视为正常现象，并采用多种方法，从多个角度，使用不同的容错措施，确保数据存储的安全、保证提供不间断的数据存储服务GFS架构是怎样的？系统架构Client（客户端）：应用程序的访问接口Master（主服务器）：管理节点，在逻辑上只有一个，保存系统的元数据，负责整个文件系统的管理ChunkServer（数据块服务器）：负责具体

4、的存储工作。数据以文件的形式存储在ChunkServer上实现机制客户端首先访问Master节点，获取交互的ChunkServer信息，然后访问这些ChunkServer，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。Client与ChunkServer之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个ChunkServer，从而使得整个系统的I/O高度并行，系统整体性能得到提高。GFS特点有哪些？GFS特点采

5、用中心服务器模式可以方便地增加ChunkServerMaster掌握系统内所有ChunkServer的情况，方便进行负载均衡不存在元数据的一致性问题不缓存数据文件操作大部分是流式读写，不存在大量重复读写，使用Cache对性能提高不大ChunkServer上数据存取使用本地文件系统，若读取频繁，系统具有Cache从可行性看，Cache与实际数据的一致性维护也极其复杂在用户态下实现利用POSIX编程接口存取数据降低了实现难度，提高通用性POSIX接口提供功能更丰富用户态下有多种调试工具Master和ChunkServer都以进程方式运行，单个

6、进程不影响整个操作系统GFS和操作系统运行在不同的空间，两者耦合性降低只提供专用接口降低实现的难度对应用提供一些特殊支持降低复杂度Google文件系统GFS系统架构容错机制系统管理技术Master容错MasterNameSpace，文件系统目录结构Chunk与文件名的映射Chunk副本的位置信息(默认有三个副本)NameSpace，文件系统目录结构Chunk与文件名的映射Chunk副本的位置信息Master单个Master，对于前两种元数据，GFS通过操作日志来提供容错功能第三种元数据信息保存在各个ChunkServer上，Master故障时，

7、磁盘恢复GFS还提供了Master远程的实时备份,防止Master彻底死机的情况ChunkServer容错采用副本方式实现ChunkServer容错每一个Chunk有多个存储副本（默认为三个），分布存储在不同的ChunkServer上用户态的GFS不会影响ChunkServer的稳定性副本的分布策略需要考虑多种因素，如网络的拓扑、机架的分布、磁盘的利用率等对于每一个Chunk，必须将所有的副本全部写入成功，才视为成功写入尽管一份数据需要存储三份，好像磁盘空间的利用率不高，但综合比较多种因素，加之磁盘的成本不断下降，采用副本无疑是最简单、最可靠、最有效

8、，而且实现的难度也最小的一种方法。Simple,an