hadoop开启云计算之旅实战

《hadoop开启云计算之旅实战》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、文章内容来自Java私塾2013-12-27（java私塾）Hadoop开启云计算之旅实战第一部分：我们为什么要学习云计算技术•“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”  ———哈佛大学  社会学教授加里·金•一分钟内，微博推特( Twitter)上新发的数据数超过10万；社交网络“脸谱”( Facebook)的浏览量超过600万……•这些庞大数字，意味着什么？•它意味着，一种全新的致富手段也许就摆在面前，它的价值堪比石油和黄金。I

2、T人你们准备好了么•这是一个机会，千载难逢的机会。•IT界的又一桶黄金。 什么是云计算    云计算就是“按需应变”的网络延伸，即厂商按照用户不断变化的需求提供相应的硬件、软件服务。     云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、网络技术等一些传统计算方法的融合体。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统，并借助SaaS、PaaS、IaaS、MSP等先进的商业模式把这强大的计算能力分布到终端用户手中。其核心理念就是通过不断提高

3、“云”的处理能力而减少用户终端的处理负担，最终使用户终端简化成一个单纯的输入输出设备，并能按需享受“云”的强大计算处理能力。    云计算最典型的代表就是Google的搜索引擎。  云因何而生 不断增长的计算资源处理器核数:每18个月 100%  内存/硬盘容量:每年 60％网络带宽:每年 100％ 现有计算模型的局限低利用率: <20%高维护费用:软硬件成本的 x5～x10低可用性: 65％ 服务存在不可用现象 四大商业服务模式•SaaS(Software-as-a-Service):软件即服务•Pa

4、aS(Platform-as-a-Service):平台即服务•IaaS(InfrastructureasaService):基础设施即服务•MSP(ManagingSuccessfulProgramme)  SaaS(Software-as-a-Service)：软件即服务uSaaS给用户带来的优势:拿来即用、无须维护、按需使用、随处可用、风险减小、成本降低、先天防毒、低配置也可用大软件更多内容在‘java私塾官网’文章内容来自Java私塾2013-12-27uSaaS给软件运营商带来的优势:节约销售

5、成本、节约维护成本、稳健的经营模式uSaaS的缺点:依赖互联网、数据安全性、数据保密性、uSaaS的成功案例:Salesforce公司的CRM（客户关系管理）、Google的搜索引擎和Gmail、IBM的“蓝云”、Alisoft的AEP平台等一系列SaaS软件PaaS（Platform-as-a-Service ）：平台即服务    PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快

6、SaaS应用的开发速度。 IaaS(InfrastructureasaService)基础设施即服务IaaS主要提供虚拟机IaaS分为两种用法：公共的和私有的。AmazonEC2在基础设施云中使用公共服务器池。更加私有化的服务会使用企业内部数据中心的一组公用或私有服务器池。IaaS可以提供服务器、操作系统、磁盘存储、数据库和/或信息资源。最高端IaaS的代表产品是亚马逊的AWS，不过IBM、Vmware和惠普以及其他一些传统IT厂商也提供这类的服务。IaaS通常会按照"弹性云"的模式引入其他的使用和计价

7、模式，也就是在任何一个特定的时间，都只使用你需要的服务，并且只为之付费。云计算的核心技术•编程模型•海量数据分布存储技术•海量数据管理技术•虚拟化技术•云计算平台管理技术第二部分：典型云平台介绍•Google的云计算平台    Google的硬件条件优势，大型的数据中心、搜索引擎的支柱应用，促进Google云计算迅速发展。Google的云计算主要由MapReduce、Google文件系统(GFS)、BigTable组成。它们是Google内部云计算基础平台的3个主要部分。Google还构建其他云计算组件

8、，包括一个领域描述语言以及分布式锁服务机制等。Sawzall是一种建立在MapReduce基础上的领域语言，专门用于大规模的信息处理。Chubby是一个高可用、分布式数据锁服务，当有机器失效时，Chubby使用Paxos算法来保证备份。 •IBM“蓝云”计算平台    IBM的“蓝云”计算平台是一套软、硬件平台，将Internet上使用的技术扩展到企业平台上，使得数据中心使用类似于互联网的计算环境。“蓝云”大量使用了IBM先进的大规模计算技