阿里云E-MapReduce-产品简介-D

《阿里云E-MapReduce-产品简介-D》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、E-MapReduce产品简介E-MapReduce/产品简介产品简介产品概述AliyunElasticMapReduce（AliyunE-MapReduce）是运行在阿里云平台上的一种大数据处理系统解决方案。它能够让用户将ApacheHadoop和ApacheSpark运行在阿里云的云平台上，提供给用户在云上的分析和处理大数据的平台。通过将Hadoop和Spark运行在云平台上，让用户可以非常方便的使用Hadoop和Spark生态系统中的其他周边系统（如ApacheHive，ApachePig，HBase等）来分析和处理自己的数据。不仅如此，用户还可以通过E-MapRed

2、uce将数据非常方便的导入和导出到阿里云其他的云数据存储系统和数据库系统（如AliyunOSS，AliyunRDS）中。什么是E-MapReduce当用户想要使用Hadoop，Spark等分布式处理系统的时候，通常需要经历：1,评估业务特点->2,选择机器类型->3,采购机器->4,准备硬件环境->5,安装操作系统->6,部署Hadoop和Spark等app->7,启动集群->8,编写应用程序->9,运行作业->10,获取数据等一系列的步骤。在这些流程中，其实真正跟用户的应用逻辑相关的是从第8步才开始，前面的各项工作都是前期的准备工作。而通常这个前期工作都非常冗长繁琐。Al

3、iyunE-MapReduce是构建在阿里云主机（AliyunECS）上，基于开源Hadoop，Spark及其ecosystem（Hive，Pig，HBase等），提供大数据计算，处理和分析的云产品。它是提供了从主机选型，环境部署，集群搭建，配置，运行，作业配置，作业运行，集群管理，性能监控等一系列的集群管理工具的集成解决方案。通过使用AliyunE-MapReduce，用户可以从繁琐的集群构建的各种采购，准备，运维工作中解放出来，只需要关心自己的应用程序的处理逻辑。不仅如此，AliyunE-MapReduce还提供给用户非常灵活的搭配组合方式，用户可以根据自己的业务特点选

4、择不同的集群服务。比如，用户的需求是对数据进行日常的统计和简单的批量运算，可以只选择在E-MapReduce中运行Hadoop服务；而如果还需要有流式计算和实时化相关的需求，可以在Hadoop服务基础上再加入Spark服务。E-MapReduce的组成在AliyunE-MapReduce中，最核心也是用户直接面对的组件是：集群。一个E-MapReduce集群是由一个或多个AliyunECS云主机instance组成的Hadoop和Spark集群。拿Hadoop为例，在每一个ECSinstance上，通常都运行了一些daemon进程（如namenode，datanode，re

5、soucemanager，nodemanager），这些daemon进程就组成了Hadoop集群。运行namenode，resourcemanager的节点称之为master节点，而运行datanode，nodemanager的节点称之为slave节点。比如，下图表示一个包含一个master节点，3个slave节点的E-MapReduce集群：19E-MapReduce/产品简介产品优势相对于自建集群，AliyunE-MapReduce拥有一些比较实用的优势，能够给用户从各个方面管理自己的集群上提供一些非常方便可控的手段。易用性-按照所选硬件机型（CPU，内存，磁盘），所选

6、择软件组合和版本，进行自动化部署；-用户可以根据自己或数据源所处的地理位置申请相应将自己的集群部署在哪里。目前AliyunECS支持的区域包括深圳，青岛，北京，上海，香港，杭州，美国硅谷，新加坡等区域。E-MapReduce公测阶段支持杭州和北京。后续会陆续开放到所有AliyunECS支持的Region。低价可以按需创建集群，即离线作业运行结束就可以释放集群。可以动态的在需要的时候增加节点。深度整合与阿里云其他产品如OSS，ONS，RDS，ODPS等深度整合，作为E-MapReduce产品中Hadoop/Spark计算引擎的输入源或者输出目的地。安全19E-MapReduc

7、e/产品简介整合阿里云RAM资源权限管理系统，通过主子账号对服务权限进行隔离。基础架构AliyunE-MapReduce产品的架构如下图所示:从上图可以看出，E-MapReduce集群可以跟阿里云的对象存储服务（AliyunOSS），云数据库（AliyunRDS）等云服务进行无缝数据交换，方便用户将数据在多个系统之间进行共享和传输，以满足不同业务类型的访问需要。使用场景AliyunE-MapReduce集群适合非常多的应用场景，简单说来，Hadoopecosystem以及Spark能够支持的场景，E-MapRedu