Google云计算原理

《Google云计算原理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、.....Google云计算原理Google拥有全球最强大的搜索引擎。除了搜索业务以外，Google还有GoogleMaps、GoogleEarth、Gmail、YouTube等各种业务，包括刚诞生的GoogleWave。这些应用的共性在于数据量巨大，而且要面向全球用户提供实时服务，因此Google必须解决海量数据存储和快速处理问题。Google的诀窍在于它发展出简单而又高效的技术，让多达百万台的廉价计算机协同工作，共同完成这些前所未有的任务，这些技术是在诞生几年之后才被命名为Google云计算技术。Google云

2、计算技术具体包括：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby和分布式结构化数据存储系统Bigtable等。其中，GFS提供了海量数据的存储和访问的能力，MapReduce使得海量信息的并行处理变得简单易行，Chubby保证了分布式环境下并发操作的同步问题，Bigtable使得海量数据的管理和组织十分方便。本章将对这四种核心技术进行详细介绍。2.1Google文件系统GFSGoogle文件系统（GoogleFileSystem，GFS）是一个大型的分布式文件系统。它为G

3、oogle云计算提供海量存储，并且与Chubby、MapReduce以及Bigtable等技术结合十分紧密，处于所有核心技术的底层。由于GFS并不是一个开源的系统，我们仅仅能从Google公布的技术文档来获得一点了解，而无法进行深入的研究。文献[1]是Google公布的关于GFS的最为详尽的技术文档，它从GFS产生的背景、特点、系统框架、性能测试等方面进行了详细的阐述。当前主流分布式文件系统有RedHat的GFS[3]（GlobalFileSystem）、IBM的GPFS[4]、Sun的Lustre[5]等。这些系

4、统通常用于高性能计算或大型数据中心，对硬件设施条件要求较高。以Lustre文件系统为例，它只对元数据管理器MDS提供容错解决方案，而对于具体的数据存储节点OST来说，则依赖其自身来解决容错的问题。例如，Lustre推荐OST节点采用RAID技术或SAN存储区域网来容错，但由于Lustre自身不能提供数据存储的容错，一旦OST发生故障就无法恢复，因此对OST的稳定性就提出了相当高的要求，从而大大增加了存储的成本，而且成本会随着规模的扩大线性增长。学习参考.....正如李开复所说的那样，创新固然重要，但有用的创新更重要

5、。创新的价值，取决于一项创新在新颖、有用和可行性这三个方面的综合表现。GoogleGFS的新颖之处并不在于它采用了多么令人惊讶的技术，而在于它采用廉价的商用机器构建分布式文件系统，同时将GFS的设计与Google应用的特点紧密结合，并简化其实现，使之可行，最终达到创意新颖、有用、可行的完美组合。GFS使用廉价的商用机器构建分布式文件系统，将容错的任务交由文件系统来完成，利用软件的方法解决系统可靠性问题，这样可以使得存储的成本成倍下降。由于GFS中服务器数目众多，在GFS中服务器死机是经常发生事情，甚至都不应当将其视

6、为异常现象，那么如何在频繁的故障中确保数据存储的安全、保证提供不间断的数据存储服务是GFS最核心的问题。GFS的精彩在于它采用了多种方法，从多个角度，使用不同的容错措施来确保整个系统的可靠性。2.1.1系统架构GFS的系统架构如图2-1[1]所示。GFS将整个系统的节点分为三类角色：Client（客户端）、Master（主服务器）和ChunkServer（数据块服务器）。Client是GFS提供给应用程序的访问接口，它是一组专用接口，不遵守POSIX规范，以库文件的形式提供。应用程序直接调用这些库函数，并与该库链接

7、在一起。Master是GFS的管理节点，在逻辑上只有一个，它保存系统的元数据，负责整个文件系统的管理，是GFS文件系统中的大脑。ChunkServer负责具体的存储工作。数据以文件的形式存储在ChunkServer上，ChunkServer的个数可以有多个，它的数目直接决定了GFS的规模。GFS将文件按照固定大小进行分块，默认是64MB，每一块称为一个Chunk（数据块），每个Chunk都有一个对应的索引号（Index）。学习参考.....图2-1GFS体系结构客户端在访问GFS时，首先访问Master节点，获取将

8、要与之进行交互的ChunkServer信息，然后直接访问这些ChunkServer完成数据存取。GFS的这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流，而无数据流，这样就极大地降低了Master的负载，使之不成为系统性能的一个瓶颈。Client与ChunkServer之间直接传输数据流，同时由于文件被分成多个Chunk进行分