Hadoop开发环境搭建(Win8 + Eclipse + Linux).docx

《Hadoop开发环境搭建(Win8 + Eclipse + Linux).docx》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、Hadoop开发环境搭建（Win8+Linux）常见的Hadoop开发环境架构有以下三种：1、Eclipse与Hadoop集群在同一台Windows机器上。2、Eclipse与Hadoop集群在同一台Linux机器上。3、Eclipse在Windows上，Hadoop集群在远程Linux机器上。点评：第一种架构：必须安装cygwin，Hadoop对Windows的支持有限，在Windows上部署hadoop会出现相当多诡异的问题。第二种架构：Hadoop机器运行在Linux上完全没有问题，但是有大部分的开发者不习惯在Linux上做开发。这种架构适合习惯使用Linux的开发者。第三种架

2、构：Hadoop集群部署在Linux上，保证了稳定性，Eclipse在Windows上，符合大部分开发者的习惯。本文主要介绍第三种Hadoop开发环境架构的搭建方法。Hadoop开发环境的搭建分为两大块：Hadoop集群搭建、Eclipse环境搭建。其中Hadoop集群搭建可参考官方文档，本文主要讲解Eclipse环境搭建（如何在Eclipse中查看和操作HDFS、如何在Eclipse中执行MapReduce作业）。搭建步骤：1、搭建Hadoop集群（Linux、JDK6、Hadoop-1.1.2）2、在Windows上安装JDK6+3、在Windows上安装Eclipse3.3+4

3、、在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件（如果没有，则需自行编译源码）5、在Eclipse上配置Map/ReduceLocationØ搭建Hadoop集群此步骤可参考Hadoop官方文档Ø在Windows上安装JDK此步骤可参考官方文档Ø在Window上安装Eclipse此步骤可参考官方文档Ø在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件Hadoop-1.1.2的发布包里面没有hadoop-eclipse-plugin-1.1.2.jar，开发者必须根据所在的环境自行编译hadoop-ecli

4、pse-plugin-1.1.2.jar插件。以下为自行编译hadoop-eclipse-plugin-1.1.2.jar的步骤：1、安装Ant（参考官方文档）2、修改${HADOOP_HOME}/src/contrib/eclipse-plugin/build.xml文件以下是笔者机器上的build.xml文件，可以以此作为模版，修改相应的节点即可（其中红色部分为需要修改的节点）。

5、yname="name"value="${ant.project.name}"/>

6、adoop.root}/build/contrib/${name}"/>

7、dename="org.eclipse.core*.jar"/>