Google云计算原理与应用

《Google云计算原理与应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Google云计算原理与应用答辩人：栗建行指导教师：郝卫东主要内容Google的“云”在哪里？Google云计算主要原理及应用Google云计算平台GAE开发环境及构建Google基于安卓的智能家居Google的“云”在哪里？云计算是一个新概念于07年第3季度被提出，是并行计算、分布式计算和网格计算等技术的混合演进，经过商业包装的概念为分布式存储和分布式计算找到了盈利模式提出以来发展迅速，Google、Amazon、Microsoft等公司都提出了自己的云计算方案为什么Google需要“云”？系统规模对

2、系统设计的重要性Google提供的服务：海量信息＋海量用户，如何又好又快地提供服务？Google的“云”在哪里？Google的“云”无所不在GoogleEarth、Gmail、GoogleDocs云计算技术是Google大部分应用的基础设施没有“云计算”，就没有Google的创新服务Google云计算主要原理Google使用的云计算基础架构模式包括四个相互独立而又紧密结合在一起的系统：GoogleFileSystem：建立在集群之上的文件系统MapReduce：针对Google应用程序的特点提出的编程模

3、式Chubby：分布式锁服务BigTable：模型简化的大规模分布式数据库GoogleFileSystem文件系统GoogleFileSystem：GFS文件系统为了满足Google迅速增长的数据处理需求应运而生GFS文件系统与过去的分布式文件系统拥有许多相同的目标：性能、可伸缩性、可靠性以及可用性GFS文件系统要解决Google所面临的的与众不同的问题，具有与Google应用负载和技术环境相符的特性GoogleFileSystem文件系统新特性主要体现在以下四个方面集群中的节点失效是一种常态，而不是一

4、种异常Google系统中的文件大小与通常文件系统中的文件大小概念不一样，文件大小通常以G字节计Google文件系统中的文件读写模式和传统的文件系统不同文件系统的某些具体操作不再透明，而且需要应用程序的协助完成，应用程序和文件系统API的协同设计提高了整个系统的灵活性GoogleFileSystem文件系统系统架构：客户端（Client)：应用程序的访问接口主服务器（Master）：管理节点，在逻辑上只有一个，保存系统的元数据，负责整个系统的管理数据块服务器（ChunkSever）：负责具体的存储工作Go

5、ogleFileSystem文件系统实现机制：客户端首先访问Master节点，获取交互的ChunkServer信息，然后访问这些ChunkServer，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。Client与ChunkServer之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个ChunkServer，从而使得整个系统的I/O高度并行，系统整体性能得到提高。

6、MapReduce分布式数据处理MapReduceGoogle提出的一个软件架构，是一种处理海量数据的并行编程模式用于大规模数据集（通常大于1TB）的并行运算MapReduce实现了Map和Reduce两个功能Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集Reduce对结果集进行分类和归纳Map()和Reduce()两个函数可能会并行运行，即使不是在同一的系统的同一时刻MapReduce分布式数据处理MapReduce操作执行流程图MapReduce分布式数据处理词频统计流程：

7、Chubby分布式锁服务分布式一致性问题在一个分布式系统中，有一组的Process，它们需要确定一个Value。于是每个Process都提出了一个Value，一致性就是指只有其中的一个Value能够被选中作为最后确定的值，并且当这个值被选出来以后，所有的Process都需要被通知到Chubby分布式锁服务Google云计算中的分布式一致性问题例如，GFS在物理上往往包含多个Master，但需要在逻辑上确定唯一的Master。如何确定？这是一个分布式一致性问题Chubby是Google为解决分布式一致性问

8、题而设计的提供粗粒度锁服务的文件系统Chubby分布式锁服务Chubby是一个文件系统，如何提供“锁”服务Chubby中的锁就是文件在GFS的例子中，创建文件就是进行“加锁”操作，创建文件成功的那个server其实就是抢占到了“锁”用户通过打开、关闭和读取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息因此，通过Chubby可以解决Google云计算中的分布式一致性问题BigTable大规模分布式数据库BigTable的设计