vmware虚拟机下hadoop集群安装过程

《vmware虚拟机下hadoop集群安装过程》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、.vmware虚拟机下hadoop集群安装过程Hadoop俗称分布式计算，最早作为一个开源项目，最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样，虽然Hadoop最初十分简单，但随着近些年来大数据的兴起，其也获得了一个充分体现价值的舞台。这也正是业内普遍将Hadoop看做是下一个Linux的原因。一．基于vmware的hadoop环境简述本文介绍基于多台vmware虚拟机来安装hadoop集群的过程及方法，通过这个小的集群让您在本地电脑上就可以研究hadoop的相关工作过程，有人会有疑问在小的虚拟机集群上研究的结果，写的程序能否在大集

2、群上工作正常？可以肯定的没问题的。Hadoop的一个特性是线性增长特性，即当前数量情况下，处理时间是1，若是数据量加倍，后处理时间加倍，若是在这种情况下，处理能力也加倍则处理时间也是1.正常情况hadoop需要较多的服务器才能搭建，但是我们在家里学习如何去找那么服务器，解决办法可以找几台pc机，在pc机上安装linux系统就可以了。当然我们还有更简单的办法，就是找一台高性能的电脑，在电脑上安装虚拟机软件，里面创建若干台虚拟机，然后让这些虚拟机构成一个小的内部局域网络，在这个网络上我们安装linux软件，java软件，安装hadoop程序，我们就可以

3、创建一个简单hadoop的研究系统，进行软件的开发调试，在这个小的分布式集群上开发的程序可以无缝移植到相同版本的hadoop（不同hadoop的版本兼容性不是很好，特别是低版本同高版本，他们的api也有些许变化）集群中。如下是在笔者笔记本上构建的一个hadoop的虚拟机系统，相关网络拓扑结构如下：虚拟机0，机器名称：db，ip：192.168.186.10虚拟机1，机器名称：red，ip：192.168.186.11虚拟机2，机器名称：mongdb，ip：192.168.186.12虚拟机3，机器名称：nginx，ip：192.168.186.13

4、-..如上图，4台虚拟机通过一个虚拟的交换机互联，开发机器也连接到这个虚拟交换机上，虚拟的交换机同adsl相连接，这样整个系统都可以直接上网了。下面是几个虚拟机的典型配置，如下：Db的配置，如上，这个机器的内存配置比较高，这个机器是机器的master服务器，需要较多的内存。因此配置了1.3g内存。下面是red的配置，mongdb及nginx的配置同这个机器配置相同，配置如下：-..这个机器的配置同db机器配置相同，仅仅是内存小了些，这里内存是188m，作为调试环境已经足够用了。二．基于vmware虚拟机环境配置1.网卡的Ip地址配置采用静态ip配置

5、方式，防止重新启动后dhcp分配新的ip后，造成不必要的混乱。配置如下：-..1.Hosts文件配置[root@db~]#cat/etc/hosts#Donotremovethefollowingline,orvariousprograms#thatrequirenetworkfunctionalitywillfail.127.0.0.1localhost.localdomainlocalhost::1localhost6.localdomain6localhost6192.168.186.10db192.168.186.11red192.168.

6、186.12mongdb192.168.186.13nginx需要确保每一台机器的hosts文件配置如上图所示。-..简便配置方法，在配置一台机器后，可以编写脚本实现自动将hosts文件复制到多台机器上。脚本如下：[root@db~]#catupdate_hosts.sh#!/bin/shforhostinredmongdbnginx;doecho$hostscp/etc/hostsroot@${host}:/etc/done[root@db~]#主要这个脚本要在root下编写，然后赋予可以执行的权限（chmoda+x*.sh）,然后在root权限

7、下执行。脚本会自动完成hosts文件的复制工作。上面过程完成后，分别登录每一台机器，把每一个服务器都ping一下，若是不通，在仔细检查一下。1.Java配置在每个虚拟机服务器上检查是否正确安装了java，是否配置了java的环境变量等如上图，1处输入java-version，然后应该输出类似2处的输出，标识java已经正确安装了同时采用3处的命令，env

8、grepJAVA_HOME来检查环境变量是否正确配置了，若是没有配置java的环境变量则需要进行配置若是您java还有安装请用下面命令安装yuminstalljava-1.7.0-openjdk然

9、后用下面命令配置环境变量。vi/etc/profile打开编辑的文件后，在文件最后面添加如下内容JAVA_HOME=/us