hadoop集群的自动化部署

《hadoop集群的自动化部署》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、.安徽农业大学毕业论文（设计）论文题目Hadoop集群的自动化部署研究姓名周云扬学号10168134院系信息与计算机学院专业网络工程指导教师朱军职称副教授中国·合肥二〇一四年五月-..安徽农业大学学士学位论文（设计）开题报告课题名称Hadoop集群的自动化部署研究课题来源自拟学生姓名周云扬专业10网络工程学号10168134指导教师朱军职称副教授研究内容(1)系统安装：熟悉linux系统的安装过程，搭建自动化安装平台cobbler，了解dhcp，pxe，kickstart，远程管理idrac。通过网络安装实现批量自动化部署，修改kickstart的配置文件可定制自己需

2、要的系统。(2)hadoop环境部署：在cobbbler的基础上使用ApacheAmbari部署管理Hadoop，通过web界面安装向导简化了集群部署过程。研究计划1月初~2月底：熟悉以往的生产环境部署过程，提出改进过程。3月初~3月低：根据提出的改进过程，调研可行方案，并确定最终方案。4月初~4月低：部署测试和自动化安装平台和集群环境。5月初~5月中：测试整个平台的的易用性和稳定性。5月低：撰写毕业设计论文，准备毕业论文答辩。特色与创新(1)适用于大规模集群部署，提高效率，节省用户时间。(2)用户可以很方便的管理和控制集群并有效地查看信息。指导教师意见同意开题教研室

3、意见同意开题院系意见主要领导签名：年月日-..目录1引言12自动化部署工具介绍13COBBLER的安装部署和配置以及使用23.1COBBLER的介绍23.2COBBLER的设计方式23.3COBBLER的安装33.3.1COBBLER的安装43.3.2COBBLER的配置53.3.3设置CENTOS系统的环境63.3.4COBBLER的使用84使用AMBARI部署HADOOP124.1环境准备124.1.1配置免秘钥登录134.1.2批量分发公钥144.2AMBARI的安装154.1.1配置源154.1.2构建本地源154.1.3配置NTP服务164.1.4安装AMB

4、ARI-SERVER服务174.1.5开启服务184.3使用AMBARI部署HADOOP195结束语26参考文献26英文摘要27致谢27-..Hadoop集群的自动化部署研究学生：周云扬，指导教师：朱军(安徽农业大学信息与计算机学院合肥230036)摘要：Hadoop作为当下最主流的大数据分布式计算平台，已成为当前互联网企业主流的选择。集群的规模也越来越大，在集群上线前期，部署通常要占用大量的时间和精力。为了有效地部署和管理大规模的集群计算节点，本文通过cobbler和ambari这两个开源软件的使用完成hadoop集群的自动化部署。Cobbler主要是完成前期系统环

5、境的自动化部署，通过定制kickstart文件来配置合适的系统环境。ambari是对hadoop进行监控、管理和生命周期管理的基于网页的开源项目。当集群的节点达到几十或成百上千个的时候，Ambari可以使安装hadoop集群，管理hadoop集群服务，监控集群变得很方便，节约了大量的人力和时间。关键词：cobbler，ambari，自动化部署，hadoop集群1引言Hadoop作为分布式计算平台，虽然可以很容易的处理海量数据，但是部署步骤较为繁琐。官方上的部署文档一般是配置免秘钥登录、配置jdk、修改相关配置文件，再分发几台到节点服务器上。几个节点的集群从系统安装好到

6、集群部署完成需要几个小时，相关服务无法启动的话还需要慢慢排错，意味着集群投入使用需要更长的时间。每次部署如果都手动部署环境的话会非常麻烦，手工部署显得效率低，容易出错。因此，自动化部署集群显得更适合大规模集群上线的情景，而且只需配置一次，测试成功后以后都可以使用。2自动化部署介绍生产线环境一般包括两部分，系统和应用。系统是基础，应用是重点。自动化部署应该包含这两部分，本文会用到以下自动化工具。(1)Cobbler：Redhat最新发布的的自动化部署系统工具，可以管理dhcp，tftp，更重要的是它可以针对特定mac地址服务器作设置，这样安全性大大提高。还提供了web接

7、口和API，操作起来更简单同时也便于二次开发。-..(2)Ambari：hadoop的管理平台，同时也方便hadoop的部署。类似的还有CloudManager，在本文中部署的hadoop2.0的环境。支持一键安装各种组件，如hbase、hive、pig等等。因为这些组件中也是分布式的，部署的流程是基于hadoop环境搭建好，所以也比较麻烦。更值得注意的是，它可以帮助我们很轻松的安装ganglia和nagios,这样有助于我们观察子节点的状态，如datanode读写数据，内存，磁盘等等资源使用情况。方便我们对配置作调整，进一步优化集群。1Cobble