Cloudera平台部署架构建议方案

《Cloudera平台部署架构建议方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Cloudera平台参考部署架构Cloudera平台软件体系结构Cloudera的软件体系结构中包含了以下模块：系统部署和管理，数据存储，资源管理，处理引擎，安全，数据管理，工具库以及访问接口。一些关键组件的角色信息：模块组件管理角色工作角色ClouderaManagerClouderaManagerServerAgentHostMonitorClouderaManagerServiceMonitor系统部署和管理ReportsManagerAlertPublisherEventServerClouderaDirectorNameNodeDataNodeSecondaryN

2、ameNodeHDFS数据存储JournalNodeFailoberControllerHBaseHBaseMasterRegionServerResourceManagerNodeManager资源管理YARNJobHistoryServerSparkHistoryServerImpalaCatalogServerImpalaDaemon处理引擎ImpalaImpalaStateStoreSearchSolrServerSentrySentryServerNavigatorKeyTrustee安全、数据管理NavigatorMetadataClouderaNavigato

3、rServerNavigatorAuditServerHiveMetastore工具库HiveHiveServer2硬件配置集群服务器按照节点承担的任务分为管理节点和工作节点。管理节点上一般部署各组件的管理角色，工作节点一般部署有各角色的存储、容器或计算角色。根据业务类型不同，集群具体配置也有所区别：1.实时流处理服务集群：Hadoop实时流处理性能对节点内存和CPU有较高要求，基于SparkStreaming的流处理消息吞吐量可随着节点数量增加而线性增长。管理节点工作节点处理器两路Intel®至强处理器，可选用E5-两路Intel®至强处理器，可选用E5-2630处理器2

4、660处理器内核数6核/CPU（或者可选用8核/CPU)，6核/CPU（或者可选用8核/CPU)，主主频2.3GHz或以上频2.0GHz或以上内存128GBECCDDR3128GBECCDDR3硬盘2个2TB的SAS硬盘（3.5寸),4-12个4TB的SAS硬盘（3.5寸),7200RPM，RAID17200RPM，不使用RAID网络至少两个1GbE以太网电口，推荐使至少两个1GbE以太网电口，推荐使用用光口提高性能。光口提高性能。可以两个网口链路聚合提供更高带可以两个网口链路聚合提供更高带宽。宽。硬件尺寸1U或2U1U或2U接入交换机48口千兆交换机，要求全千兆，可堆叠聚

5、合交换机4口SFP+万兆光纤核心交换机，一般用于50节点以上大规模集群（可选）2.在线分析业务集群：在线分析业务一般基于Impala等MPPSQL引擎，复杂的SQL计算对内存容量有较高要求，因此需要配置128G甚至更多的内存。管理节点工作节点处理器两路Intel®至强处理器，可选用E5-两路Intel®至强处理器，可选用E5-2630处理器2650处理器内核数6核/CPU（或者可选用8核/CPU)，6核/CPU（或者可选用8核/CPU)，主主频2.3GHz或以上频2.0GHz或以上内存128GBECCDDR3128GB-256GBECCDDR3硬盘2个2TB的SAS硬盘（3

6、.5寸),12个4TB的SAS硬盘（3.5寸),7200RPM，RAID17200RPM，不使用RAID网络至少两个1GbE以太网电口，推荐使至少两个1GbE以太网电口，推荐使用用光口提高性能。光口提高性能。可以两个网口链路聚合提供更高带可以两个网口链路聚合提供更高带宽。宽。硬件尺寸1U或2U2U接入交换机48口千兆交换机，要求全千兆，可堆叠聚合交换机4口SFP+万兆光纤核心交换机，一般用于50节点以上大规模集群（可选）3.云存储业务集群：云存储业务主要面向海量数据和文件的存储和计算，强调单节点存储容量和成本，因此配置相对廉价的SATA硬盘，满足成本和容量需求管理节点工作节

7、点处理器两路Intel®至强处理器，可选用E5-两路Intel®至强处理器，可选用E5-2630处理器2660处理器内核数6核/CPU（或者可选用8核/CPU)，6核/CPU（或者可选用8核/CPU)，主主频2.3GHz或以上频2.0GHz或以上内存128GBECCDDR348GBECCDDR3硬盘2个2TB的SAS硬盘（3.5寸),12-16个6TB的SATA硬盘（3.5寸),7200RPM，RAID17200RPM，不使用RAID网络至少两个1GbE以太网电口，推荐使至少两个1GbE以太网电口，推荐使用用光口提