Windows环境下Hadoop开发环境配置

《Windows环境下Hadoop开发环境配置》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Windows环境下Hadoop开发环境配置一、事先准备1)Hadoop集群环境搭建已经用三台虚拟机(操作系统为ubuntu10.0.4)搭建完成一个hadoop分布式集群，分别是hadoop1:192.168.201.104，hadoop2:192.168.201.54和hadoop3:192.168.201.100，其中hadoop1为namenode，其余为datanode。2)windows安装JDK和eclipse过程从略，需要注意应安装与hadoop集群所用JDK兼容的版本。本例中，hadoop集群安装的是64位的JDK-8.0.20，因此Windows下选择64位的J

2、DK-8.0.65，eclipse版本为支持64位的KeplerServiceRelease2。3)hadoop安装包解压将搭建hadoop集群的安装包拷贝并解压到windows开发机器的某个目录下，本例中的安装包为hadoop-2.6.1.tar.gz，解压到D:hadoop-2.6.1目录。4)hadoopforeclipse插件包下载下载hadoopforeclipse插件。由于本例中hadoop集群为hadoop2，插件也必须是2.x版本。本例中插件包为：hadoop-eclipse-plugin-2.2.0。二、配置eclipse1)拷贝插件包将插件包拷贝至eclips

3、e安装目录的plugin目录下，然后重启eclipse。2)配置hadoop安装路径打开"Window"--"Prefrences"，此时左侧会出现"HadoopMap/Reduce"选项，将其配置为hadoop安装包解压后的目录。3)配置Map/ReduceLocations打开"Window"--"Perspectives"--"OpenPerspective"--"Other..."，在弹出窗口中选择"Map/Reduce"，点击"OK"。此时在下部中间的框内会有个"Map/ReduceLocations"的图标，点击上部右侧的小象图标，进入Map/ReduceLocatio

4、ns配置窗口：其中的Locationname可以填写任意名称，而Map/Reduce(V2)Master的Host、Port与hadoop集群的mapred-site.xml配置文件中的mapred.job.tracker一致，而DFSMaster的Host、Port与hadoop集群的core-site.xml配置文件中的fs.defaultFS（或fs.default.name）一致。点击"Finish"按钮，关闭窗口。此时如果左侧"ProjectExplorer"框中的"DFSLocations"下出现刚才填写的Locationname且其下没有出现"Error..."，表示

5、配置成功。一、工程配置1)设置环境变量在windows桌面，右键击"我的电脑"，再依次"属性"--"高级系统设置"--"环境变量"，增加新的环境变量HADOOP-HOME，其值与步骤2.2一致。设置完成后，重启eclipse。如果忽略此步骤，将来会报“Failedtodetectavalidhadoophomedirectory”错误。2)拷贝winutils.exe和hadoop.dll在网上下载winutils.exe和hadoop.dll，将前者拷贝到hadoop安装目录的bin子目录，将后者拷贝至C:WindowsSystem32目录下。注意32位和64位的区别。如果忽

6、略winutils.exe，将来会报“Couldnotlocateexecutablenullbinwinutils.exeintheHadoopbinaries”的错误；忽略hadoop.dll，将来会报“java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0……”的错误。1)新建Hadoop工程打开"File"--"New"--"Project"，选择"Map/ReduceProject"，输入工程名。如果是第一次新建"Map/ReduceProject"，需

7、要点击"UseDefaultHadoop"--"ConfigureHadoopInstalldirectory"（与步骤2.2一致）或干脆"SpecifyHadooplibrarylocation"。然后一步步"Next"，直至"Finish"。2)导入lib包一般情况下不需要手工执行，创建工程后各jar包已自动加至buildpath。如果需要手工添加，相应jar包有：D:/hadoop-2.6.1/share/hadoop/common下所有jar包，及里面的lib