在windows上建立hadoop+eclipse开发环境

《在windows上建立hadoop+eclipse开发环境》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、在windows上建立hadoop-eclipse开发环境参见《hadoop开发者》第一期的“在Windows上安装Hadoop教程”《Windows下基于Eclipse的Hadoop开发环境完全配置.doc》版本要求：jdk1.6（及以上），hadoop0.20.2（此后的版本会出现datanode无法启动的问题），eclipse3.3(此后的版本可能与插件不兼容)1、安装JDK将jdk-6u11-windows-i586-p.exe安装到d:jdk1.6下，JRE放在d:jre1.6下。2、安装Cygwin从http://www.cygwin.com

2、/setup.exe下载安装文件，运行安装。弹出CygwinNetReleaseSetupProgram，在downloadsource页面选择InstallfromInternet下一步选择Cygwin的安装目录为“c:cygwin”，InstallFor选择“AllUsers”，DefaultTextFileType选择“Unix/binary”下一步设置Cygwin安装包的存放目录下一步设置“InternetConnection”的方式，选“DirectConnection”下一步选“Downloadsite”，选163的即可在“SelectPack

3、age”对话框中，必须保证“NetCategory”下的“OpenSSL”被安装如果打算在eclipse上编译Hadoop，必须安装“BaseCategory”下的“sed”：另外建议将“EditorCategory”下的vim安装；“DevelCategory”下的subversion。3、配置环境变量配置PATH：;d:jdk1.6bin;C:cygwinbin;c:cygwinusrbin;配置JAVA_HOME：d:jre1.64、安装sshd服务启动Cygwin，执行ssh-host-config命令，在出现“Shouldprivi

4、legeseparationbeused？”时输入no。如果出现“Havefun”时，一般表示sshd服务安装成功。（见下图）在本机服务管理器中启动GYGWINsshd5、配置ssh登录执行ssh-keygen命令生成密钥文件，一路回车即可。然后生成authorized_keys文件：cd~/.ssh/cpid_rsa.pubauthorized_keysexit退出cygwin窗口，重新打开，执行sshlocalhost，在出现“Areyousureyouwangttocontinueconnecting?时输入yes检测是

5、否配置成功：6、安装hadoop将安装包hadoop-0.20.2.tar.gz解压到d:hadoop目录下，修改conf目录下的配置文件：修改hadoop-env.sh：exportJAVA_HOME=/cygdrive/d/jdk1.6修改core-site.xml：将srccore目录下的core-default.xml的内容全部复制到core-site.xml中代替原先内容，修改fs.default.name的值为：hdfs://localhost:9100修改hdfs-site.xml：将srchdfs下的hdfs-default.xml文件

6、内容全部复制到hdfs-site.xml中修改mapred-site.xml配置，将srcmapred目录下的mapred-default.xml文件内容复制到mapred-site.xml中，修改mapred.job.tracker值为：localhost:91017、启动hadoop：$cd/cygdrive/d/hadoop/hadoop-0.20.2///如果格式化namenode$bin/hadoopnamenode–format$bin/start-all.sh$jps5384JobTracker3052NameNode4432Jps如果Nam

7、eNode没有启动，需要停掉hadoop（bin/stop-all.sh），重新格式化NameNode。8、安装eclipse插件hadoop0.20.2版本自带的hadoop-0.20.2-eclipse-plugin.jar包不行，换成下面的：下载地址：https://issues.apache.org/jira/secure/attachment//hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar，拷贝到eclipse的plugins目录下，重启eclipse，在在Window-》OpenPerspective-》ot

8、her，弹出的窗口中应该有一项Map/Reduce项