hadoop大数据平台-测试报告及成功案例

《hadoop大数据平台-测试报告及成功案例》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop大数据平台测试报告及成功案例目录1技术规范书应答书22技术方案建议773测试及验收1264项目实施与管理1535人员资质与管理1756技术支持及保修1817附录213211.1大数据平台测试报告1.1.1某银行ClouderaCDH性能测试测试某银行现有HODS在支撑行内业务方面已经遇到瓶颈。希望通过搭建基于Hadoop的历史数据平台(新HODS)，以提升平台运行效率及数据覆盖面，支撑未来大数据应用，满足未来业务发展需求。本次POC测试的主要目的是验证Hadoop商业发行版(EDH)是否可以满足某银行HODS应用特点，主要考察点包括：·验证产

2、品本身的易用性、可扩展性，主要涉及集群的部署、运维、监控、升级等；·验证产品对安全性的支持，包括认证、授权、审计三大方面；·验证产品对资源分配的控制与调度；·验证Hadoop基本功能，包括可靠性、稳定性、故障恢复等；·验证Hadoop子系统(包括HDFS、HBase、Hive、Impala等)的性能、使用模式、设计思想、迁移代价等。1.1.1.1基础设施描述1.1.1.1.1硬件配置硬件配置分为两类：管理节点(masternode)与计算节点(workernode)。管理节点配置(2)CPUIntel®Xeon®E5-2650v32.3GHz,25MCa

3、che,9.60GT/sQPI,Turbo,HT,10C/20T(105W)MaxMem2133MHz(40vcore)内存16GBRDIMM,2133MT/s,DualRank,x4DataWidth(128GB)网络IntelX520DP10GbDA/SFP+ServerAdapter,withSROptics21磁盘(操作系统)600GB10KRPMSAS6Gbps2.5inHot-plugHardDrive(1.2TB)磁盘(存储)1TB7.2KRPMNLSAS6Gbps2.5inHot-plugHardDrive(6TB)计算节点配置(4)CP

4、UIntel®Xeon®E5-2650v32.3GHz,25MCache,9.60GT/sQPI,Turbo,HT,10C/20T(105W)MaxMem2133MHz(40vcore)内存16GBRDIMM,2133MT/s,DualRank,x4DataWidth(256GB)网络IntelX520DP10GbDA/SFP+ServerAdapter,withSROptics磁盘(操作系统)600GB10KRPMSAS6Gbps2.5inFlexBayHardDrive(1.2TB)磁盘(存储)1TB7.2KRPMNLSAS6Gbps2.5inHot

5、-plugHardDrive(24TB)1.1.1.1.1软件环境操作系统Redhat,RHEL6.6JAVASDKJDK1.7Hadoop商业发行版EDH5.3.2,EDH5.3.3,EDH5.4.01.1.1.1.2系统架构建议从规划的角度出发，Cloudera具有一套对Hadoop系统架构的推荐配置，包括节点(种类及数量)规划、数据存储规划、操作系统配置等等。节点种类Cloudera建议在生产系统中部署4种类型的节点：·管理节点(masternode)：用于运行Hadoop管理类型的后台进程，包括NameNode,、StandbyNameNode、

6、ResourceManager等。同时管理节点也被用于运行Zookeeper、JornalNodes等辅助性(比如同步)21的后台进程。根据集群的规模，这些后台进程可以运行在同一台服务器上，或者不同的服务器上。考虑到后续的扩展，一般建议使用至少3台服务器作为管理节点；·计算节点(workernode)：用于运行计算类型后台进程，包括DataNode、NodeManager、RegionServer等。在集群规模较小时，也可以将Zookeeper部署到计算节点上(注意Zookeeper对机器性能比较敏感。若部署Zookeeper，机器上必须预留足够的资源)

7、；·公共设施节点(infrastructurenode)：提供基础软件服务，比如DNS、NFS(如果需要的话)。该节点同时也被用于运行ClouderaManager、Hue以及ClouderaManager与Hive需要使用的数据库实例(比如MySQL)；·边缘节点(edgenode)：具有外网IP以及Hadoop集群内网IP。该节点不部署任何Hadoop后台进程。但是具有访问Hadoop服务的所有配置文件。普通用户只被允许通过边缘节点使用Hadoop服务。数据存储考虑考虑到Hadoop通过数据块(Block)的复制实现数据的高可用性。在规划数据存储空间

8、时，需要特别注意。默认情况下，Hadoop分布式文件系统使用3备份进行数据存储。