资源描述：
《google 云计算核心技术及应用场景分析(40p)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、Google云计算核心技术介绍及应用场景分析CloudComputing2021年9月1日1内容目录云计算的概念云计算的概念云计算的服务形式云计算的发展现状Google云计算核心技术介绍分布式文件系统GFS分布式数据库BigTable并行计算模型MapReduce分布式锁服务ChubbyGoogle云计算应用场景分析GoogleScholarGoogleAnalyticsGoogleAppEngine2021年9月1日2云计算的基本概念云计算的概念云计算的服务形式云计算的发展现状2021年9月1日3是由分
2、布式计算,并行处理,网格计算发展来的新兴商业计算模型.将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力,存储空间和各种软件服务.类似电厂集中供电模式,最终目标是将计算,服务和应用作为公共设施提供给公众,使人们能够像使用水,电,煤气那样使用计算机资源.云计算的概念2021年9月1日4云计算的发展现状2021年9月1日5IaaS(Infrastructureasaservice)AmazonWeb服务(AWS)IBM的BlueCloud等PaaS(Platformasaservi
3、ce)Google的AppEngineSalesforce的开放平台八百客的800APPSaaS(Softwareasaservice)GoogleDocsGoogleMailSalesforce的CRM,ERP云计算的服务形式2021年9月1日6Google云计算核心技术并行计算模型MapReduce分布式文件系统GFS分布式数据库BigTableGoogle云计算应用BigTableGFSMapReduceChubby2021年9月1日7Google拥有海量数据,并且需要快速处理为什么需要MapRed
4、uce？Google全球Web数据邮件数据地图数据卫星照片……GoogleMapReduce架构设计师JeffreyDean2021年9月1日8处理和生成海量数据的并行编程模型；用于大规模数据集(通常大于1TB)的并行运算；MapReduce的核心是Map和Reduce两个函数Map,映射,对列表中的所有元素进行指定的操作,返回基于这个处理的中间结果集；Reduce,化简,对中间结果集进行分类和归纳得到最终的计算结果；两个函数可能会并行运行普通的PC机集群上；MapReduce的概念2021年9月1日9M
5、apReduce执行流程12345672021年9月1日10Worker故障Master周期性的ping每个worker,检查状态重新执行失效节点上已经执行或尚未执行的Map任务重新执行失效节点上未完成的Reduce任务Master故障定期写入检查点数据备恢复之用Master的数据多重备份机制重新发起MapReduce计算请求MapReduce架构的思考MapReduce计算架构有什么问题？？？2021年9月1日11任务分割的粒度:时间复杂度任务备份机制:解决长尾效应本地文件读写:节省带宽跳过异常记录:避
6、免崩溃MapReduce的优化2021年9月1日12MapReduce的性能实践证明,MapReduce是出色的分布式计算模型对分布于1000台计算机上1TB数据进行排序仅需要68s对4000台计算机上的1PB数据进行排序处理仅需要6小时2分钟(每次测试至少会损坏1块硬盘)GoogleMapReduce平均每天的数据处理量是20PB,相当于美国国会图书馆当年5月份存档网络数据的240倍Google云计算平台上运行的MapReduce实例2021年9月1日13网站访问量统计Map:Reduce
7、:反向连接分析Map:Reduce:倒排索引Map:Reduce:…MapReduce的应用场合2021年9月1日14MapReduce示例:单词计数案例:单词记数问题(WordCount)给定巨大的文本文件(大于1TB),如何计算文件中所有单词出现的数目？2021年9月1日15MapReduce示例:单词计数使用MapRe
8、duce求解该问题定义Map和Reduce函数(PseudoCode)2021年9月1日16MapReduce示例:单词计数使用MapReduce求解该问题Step1:自动对文本进行分割2021年9月1日17MapReduce示例:单词计数使用MapReduce求解该问题Step2:在分割之后的每一对进行用户定义的Map进行处理,生成新的对2021年9月1日18MapReduce示例
