合理运用虚拟化技术构建hadoop大数据平台

《合理运用虚拟化技术构建hadoop大数据平台》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、合理运用虚拟化技术构建Hadoop大数据平台专注于企业级大数据童小军2013年5月11日提纲Hadoop补充传统架构应对大数据虚拟化技术在Hadoop云计算作用虚拟化技术在Hadoop应用案例专注于企业级大数据Hadoop是什么?一整套面向海量数据处理的分布式架构处理框架->分布式OS->生态系统Flume大规模搜索(Nutch)更多挖掘算法(Mahout)搜索(Solr)Sqoop数据仓库(Hive)数据库(Hbase)批处理(Pig)BSP模型(Hama)分布式锁(Zoomkeeper)存储+计算(HDFS+MapReduce)专注于企业级大数据Hadoop

2、在云计算的位置按提供的按云服务服务类型的对象公有云面向外部用户需求，通过开放网络分布存储分布计算提供云计算服务IDC，GoogleApp，Saleforce在线IAASIAASPAASSAASCRM私有云大型企业按照云计算的架构搭建平台，InfrastructureasaPlatformasaServiceSoftwareasaService面向企业内部需求提供云计算服务Service提供应用服务引擎，如互用户通过Internet(如浏览企业内部数据中心等以服务的形式提供虚拟硬联网应用编程接口/运行平器)来使用软件。用户不件资源，如虚拟主机/存储/台等。必购买软

3、件，只需按需租网络等资源。用软件用户基于该应用服务引擎，混合云用户无需购买服务器、网可以构建该类应用。典型应用：GoogleDoc,络设备、存储设备，只需Salesforce.com,Oracle典型应用：Google兼顾以上两种情况的云计算服务通过互联网租赁即可搭建CRMOnDemand,OfficeAppEngine,Force.com,自己的应用系统LiveWorkspaceAmazonWebServer等既为企业内MicrosoftAzure服务平台典型应用：AmazonWeb部又为外部用户提供云计算服务Service(AWS)专注于企业级大数据云计算核

4、心技术有两极3200台主机专注于企业级大数据传统架构(IOE)和云计算(虚拟化)的主要瓶颈OracleVPSVPSVPSVPSVPSVPSIBM服务器服务器服务器计算瓶颈数据移动带宽瓶颈EMC存储存储阵列磁盘IO瓶颈专注于企业级大数据传统架构(IOE)和云计算(虚拟化)的主要瓶颈计算能力和机器数量成正比IO能力和机器数量成非正比OracleVPSVPSVPSVPSVPSVPSIBM服务器服务器服务器计算瓶颈cpucpucpu数据移动带宽瓶颈EMC存储存储阵列磁盘IO瓶颈基于共享存储和高性能计算的架构。专注于企业级大数据传统架构(IOE)和云计算(虚拟化)的主

5、要瓶颈交换机计算能力和机器数量成正比IO能力和机器数量成正比Reducecpucpucpucpucpucpu计算瓶颈MAP数据移动服务器服务器服务器服务器服务器服务器带宽瓶颈磁盘IO瓶颈存储存储存储HDFS存储存储存储移动计算而非移动数据,化整为零(128m),分片处理；本地化计算,并行IO,降低网络通信专注于企业级大数据Hadoop补充IOE存储架构应对大数据使用Hadoop补充传统架构(IOE)HbaseHive专注于企业级大数据提纲Hadoop补充传统架构应对大数据虚拟化技术在Hadoop在企业落地虚拟化技术在Hadoop应用案例专注于企业级大数据

6、虚拟化技术在Hadoop作用•虚拟化让Hadoop实施更轻松!•提升Hadoop部署速度•提供Hadoop高可用和容错能力•提升Hadoop环境资源利用率•安全隔离让Hadoop落地更安全•实现Hadoop云端多租户•集群易于维护和迁移•使用异构集群实现高密度存储和计算专注于企业级大数据提升Hadoop部署速度,易于维护和迁移NameNodeJobTrackerSNNMaster节点克隆VM(镜像)虚拟资源池(VM)DataNodeDataNodeDataNodeTaskTrackerTaskTrackerTaskTracker数据节点DataNodeDataN

7、odeDataNodeTaskTrackerTaskTrackerTaskTracker一份虚拟机可以克隆各类节点,分别启动即可。只需要修改iphostname即可。专注于企业级大数据提供Hadoop高可用和容错能力NameNodeJobTrackerSNNMaster节点迁移迁移NameNodeJobTrackerMasterBack节点虚拟资源池(VM)DataNodeDataNodeDataNodeTaskTrackerTaskTrackerTaskTracker数据节点DataNodeDataNodeDataNodeTaskTrackerTaskTrac

8、kerTaskTrack