Google云计算平台的技术架构及对其成本的影响研究.pdf

《Google云计算平台的技术架构及对其成本的影响研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、研究与开发研究与开发Google云计算平台的技术架构及对其成本的影响研究*12孙健，贾晓菁（1.中国移动通信集团公司北京100032；2.中央财经大学北京100081）摘要本文通过Google云计算平台与传统IT系统技术架构的对比研究，指出Google云计算平台能够实现极低的计算成本的关键在于采用了“自顶向下”的设计思想。关键词云计算；成本；技术架构云计算平台关键技术的基础上，通过Google云计算平台和1引言传统IT系统的对比研究，寻找出Google云计算平台极低的毫无疑问，云计算是2009年IT行业最热门的话题，计算成本和

2、存储成本的根本原因。Google、Amazon、Yahoo等互联网服务商，IBM、Microsoft等2Google云计算平台的关键技术IT厂商都纷纷提出了自己的云计算战略，各电信运营商也对云计算投入了极大的关注，云计算平台极低的成本成为业界“云计算”的概念是Google公司首先提出的，其拥有一关注的焦点。Google宣称，由于使用了云计算技术，其计算套专属的云计算平台，这个平台先是为网页搜索应用提供成本仅为竞争对手的1/100，存储成本仅为竞争对手的1/30。服务,现在已经扩展到其他应用程序。如果事实真的如此，那么Googl

3、e究竟是怎么做到的呢？作为一种新型的计算方式，Google云计算平台包含了为了满足运营管理的需要，电信运营商建设了许多大许多独特的技术，如数据中心节能技术、节点互联技术、可规模的IT系统，如中国移动建设了业务支撑系统、网络管用性技术、容错性技术、数据存储技术、数据管理技术、数据理系统和管理信息系统等，这些IT系统一般都是建立在高切分技术、任务调度技术、编程模型、负载均衡技术、并行计性能UNIX服务器集群的基础上，与建立在大量的廉价x86算技术和系统监控技术等。服务器集群基础上的Google云计算平台相比，两者在技术Google

4、云计算平台是建立在大量的x86服务器集群上架构等方面存在明显的差异。本文试图在深入分析Google的，Node是最基本的处理单元，其总体技术架构如图1所示。在Google云计算平台的技术架构中，除了少量负责特定管理功能的节点（如GFSmaster、Chubby和Scheduler*国家自然科学基金资助项目（No.70801067），教育部人文社科基金资助项目（No.07JC630052），教育部青年专项课题(No.EFA080250)等），所有的节点都是同构的，即同时运行BigTableServer、38电信科学2010年第1

5、期为了保证数据的可靠性，GFS文件系统采用了冗余存储的方式，每份数据在系统中保存3个以上的备份，其中两份拷贝在同一机架的不同节点上，以充分利用机柜内部带宽，另外一份拷贝存储在不同机架的节点上。同时，为了保证数据的一致性,对于数据的所有修改需要在所有的备份上进行,并用版本号的方式来确保所有备份处于一致的状态。为避免大量读操作使master成为系统瓶颈，客户端不图1Google云计算平台的技术架构直接通过master读取数据，而是从master获取目标数据块GFSchunkserver和MapReduceJob等核心功能模块，与之

6、的位置信息后，直接和块服务器交互进行读操作。相对应的则是数据存储、数据管理和编程模型等3项关键GFS的写操作将控制信号和数据流分开，即客户端在技术，因此本文将重点对它们进行研究。获取master的写授权后,将数据传输给所有的数据副本，在2.1数据存储技术所有的数据副本都收到修改的数据后，客户端才发出写请网页搜索业务需要海量的数据存储，同时还需要满足求控制信号，在所有的数据副本更新完数据后,由主副本向高可用性、高可靠性和经济性等要求。为此，Google基于以客户端发出写操作完成控制信号。下几个假设开发了分布式文件系统———GFS

7、（googlefile通过服务器端和客户端的联合设计，GFS对应用支持system）。达到了性能与可用性的最优化。在Google云计算平台中部（1）硬件故障是常态署了多个GFS集群，有的集群拥有超过1000个存储节点系统平台是建立在大量廉价的、消费级的IT部件之和超过300TB的硬盘空间，被不同机器上的数百个客户端上，系统必须时刻进行自我监控、节点检测和容错处理，能连续不断地频繁访问着。够从部件级的错误中快速恢复是一个基本的要求。2.2数据管理技术（2）支持大数据集由于Google的许多应用（包括SearchHistory、M

8、aps、系统平台需要支持海量大文件的存储，可能包括几百Orkut和RSS阅读器等）需要管理大量的格式化以及半格式万个100MB以上的文件，GB级别的文件也是常见的。与此化数据，上述应用的共同特点是需要支持海量的数据存储，同时，小文件也能够支持，但将不进行专门的优化。读取后进行