通过虚拟化技术在linux系统下搭建hadoop集群的研究与实现

《通过虚拟化技术在linux系统下搭建hadoop集群的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、通过虚拟化技术在Linux系统下搭建Hadoop集群的研究与实现　　摘要：本文从节约成本和简化搭建过程出发，介绍了通过VMwareWorkstation和CentOS6.5在单机环境下，搭建分布式Hadoop集群的方法，并给出了详细的搭建步骤，最后对搭建好的平台进行了测试，测试结果表明建立在虚拟机上的Hadoop集群已经可以正常运行，可在上面进行实验和应用开发。　　关键词：Hadoop；VMware；虚拟化　　中图分类号：TP311文献标识码：A文章编号：1009-3044（2016）25-0175-06　　1概述　　目前，大数据已经成为

2、研究的热点，大数据的解决方案种类繁多，其中Hadoop作为Apache基金会的一个开源项目，已经积累了大量用户，在业界也得到了广泛的认可，一些知名企业如百度、阿里巴巴、谷歌、腾讯和facebook等，纷纷将Hadoop应用于商业领域。传统的Hadoop集群是基于物理节点搭建的，虽然理论上组建一个Hadoop集群不需要昂贵的高性能计算机，仅需一些廉价的计算机即可[1，2]，但如采用传统技术搭建Hadoop集群，就不得不面对一些问题：①构建集群需要大量的物理设备以及足够的实验场地②物理机的性能得不到充分利用；③14基于物理机的Hadoop集群

3、组建后，如需增加节点，就要增加新的物理机，需要更大的场地，而且集线器、交换机等物理设备也要相应增加，布置起来比较错综复杂。面对这些问题，如何在？本文对这个问题进行探讨，介绍一下在单机环境中，使用VMwareWorkstation10和CentOS6.5搭建Hadoop分布式集群并进行简单的测试。　　2Hadoop简介　　Hadoop是一种分析和处理大数据的软件平台，是Apache的一个用Java语言所实现的开源软件框架，在大量计算机组成的集群当中实现了对海量数据进行分布式计算。Hadoop的框架最核心的设计就是：HDFS和MapReduc

4、e，HDFS为海量的数据提供了存储，而MapReduce为海量的数据提供了计算。大数据在Hadoop处理的流程可以参照图1来进行理解：数据是通过Hadoop的集群处理后得到的结果。[3]　　Hadoop的集群主要由NameNode，DataNode，SecondaryNameNode，JobTracker，TaskTracker组成，如图2所示：　　NameNode：记录文件是如何被拆分成block以及这些block都存储到了那些DateNode节点，同时也保存了文件系统运行的状态信息。　　DataNode：存储被拆分的blocks。　　

5、SecondaryNameNode：帮助NameNode收集文件系统运行的状态信息。　　JobTracker：当有任务提交到Hadoop集群时，负责Job的运行，负责调度多个TaskTracker。　　TaskTracker：负责某一个map或者reduce任务。　　3搭建Hadoop虚拟实验平台　　3.1准备与安装环境14　　服务器准备：安装虚拟机和linux，虚拟机推荐使用vmware；PC可以使用workstation，配置低的话可选择Cygwin，模拟linux环境；服务器可以使用ESXi，在管理上比较方便。ESXi还可以通过拷贝

6、镜像文件复制虚拟机，复制后自动修改网卡号和ip非常快捷。如果只是实验用途，硬盘大约预留20-30G空间。　　操作系统：CentOS6.5，分区可以选择默认，安装选项默认即可，注意选项里应包括ssh，vi（用于编辑配置文件），perl等（有些脚本里包含perl代码需要解析）。　　JAVA环境：到Oracle官网下载javajdk安装包，并且进行安装。　　3.2实验环境　　硬件环境：Vmware10，三台Linux虚拟机：CentOS6.5，安装介质：cdh5.4.0。　　三台虚拟机配置如表1：　　3.3安装与配置三台虚拟机　　3.3.1准备

7、三台虚拟机　　打开虚拟软件VMwareWorkStation。　　点击“文件”->“打开”，找到虚拟机所在目录，打开装有CentOS6.5的虚拟机。　　通过克隆生成新的虚拟机，如图3。　　3.3.2操作系统网络配置　　确认三台虚拟机为不同MAC地址，选择“NAT模式”的网络连接方式，如图4。14　　打开虚拟机，按照表1设置IP地址，然后通过“ifconfig”命令查看网络地址，如图5。　　设置完后，root用户用“servicenetworkrestart”命令重启网络。　　根据表1修改三台主机的主机名，修改后系统需重新启动，编辑/etc

8、/sysconfig/network，HOSTNAME=master或slave。　　修改/etc/hosts，所有主机添加如下内容：　　192.168.xx.101master　　192.1