资源描述：
《云计算综述之一——gfs,bigtable,mapreduce技术》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、云计算综述2013.10.21云计算研究现状综述李乔、郑啸《ComputerScience》2011云计算及其关键技术陈全等《计算机应用》2009CloudComputingSecurityThreatsandResponsesICCSN,IEEE3rdInternationalConference2011文献：1.云计算研究现状综述1.什么是云计算1)云计算将IT相关的能力以服务的方式提供给用户,允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下,通过Internet获取需要的服务。——维基百科2)云计算是分布式计算分
2、布式处理(DistributedComputing)、并行处理(ParallelComputing)和网格计算(GridComputing)的发展,或者说是这些科学概念的商业实现。——中国云计算网3)文章定义:云计算是由网格计算发展而来的,前台采用按时付费的方式通过Internet向用户提供服务。云系统后台由大量的集群使用虚拟机的方式,通过网络互连,组成大型的虚拟资源池。这些虚拟资源可自主管理和配置。用数据冗余的方式保证虚拟资源的高可靠性。并具有分布式存储和计算、高扩展性、高可用性等特征。图1云计算架构图部署角度：私有云、社区云、公共云和
3、混合云。私有云被一个组织管理操作社区云由多个组织共同管理操作具有一致的任务调度和安全策略公共云由一个组织管理维护提供对外的云服务可以被公众所拥有。服务角度：基础设施Iaas、平台即服务Paas、软件即服务Saas代表性的云服务Iaas：管理硬件资源的软件服务，通过他可以租用硬件Paas：管理软件资源的服务，通过他可以开发、管理软件服务Saas：应用软件服务，用户可以直接租用服务图2几种云服务比较2.云计算的关键技术数据存储技术——以GFS为例数据管理技术——以BigTable为例编程模型——以Map-Reduce为例2.1数据存储技术——
4、以GFS为例GFS系统由1个Master和大量块服务器（Chunk）构成。Master存放文件系统的所有元数据（名字空间、存取控制、文件分块信息、文件块的位置信息等）。GFS中文件默认切分为64MB的块存储。可靠性：冗余存储。每份数据在系统中保存3个以上的备份,对于数据的所有修改需要在所有的备份上进行,并用版本号的方式来确保所有备份处于一致的状态。客户端不通过Master读取数据,避免了大量读操作使Master成为系统瓶颈。客户端从Master获取目标数据块的位置信息后,直接和块服务器交互进行读操作。GFS的写操作将写操作控制信号和数据流
5、分开。即客户端在获取Master的写授权后,将数据传输给所有的数据副本,在所有副本都收到修改的数据后,客户端才发出写请求控制信号。在所有副本更新完数据后,由主副本向客户端发出写操作完成控制信号。图3写控制信号和写数据流文件名，chunk索引Chunk句柄、位置2.2数据管理技术——以BigTable为例Bigtable是一个键值（key-value）映射。Bigtable的键有三维，分别是行键（rowkey）、列键（columnkey）和时间戳（timestamp），行键和列键都是字节串，时间戳是64位整型；而值是一个字节串。(row:s
6、tring,column:string,time:int64)→string图5BigTable采用类似B+树三级层次化的方式来存储位置信息图4bigTable结构图此文件属于Chubby服务的一部分，它保存着roottablet的位置，以保证主服务器唯一。为了保证树的深度不变，roottablet从不分裂。元数据片，它和roottablet一起组成完整的元数据表。每个元数据片都包含了许多用户片的位置信息。2.3编程模型——以Map-Reduce为例编写Map-Reduce程序，一般需要实现两个函数：mapper中的map函数和reduc
7、er中的reduce;map:(in_key,in_value)→{(keyj,valuej)
8、j=1····k}reduce: (key,[value1,···valuem])→(key,final_value）//已归并Map-Reduce模型具有很强的容错性,当worker节点出现错误时,只需要将该worker节点屏蔽在系统外等待修复,并将该worker上执行的程序迁移到其他worker上重新执行,同时将该迁移信息通过Master发送给对应该节点处理。3.CloudComputingSecurityThreatsandRespons
9、esCloudcomputingisanetwork-basedenvironmentthatfocusesonsharingcomputationsorresources.Inclouden
