educoder平台hadoop开发环境搭建.doc

《educoder平台hadoop开发环境搭建.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《一》配置开发环境-JavaJDK的配置mkdir/app回车cd/opt回车ll回车tar-zxvfjdk-8u171-linux-x64.tar.gz回车mvjdk1.8.0_171//app回车vim/etc/profile在最低下按i复制粘贴下面代码JAVA_HOME=/app/jdk1.8.0_171CLASSPATH=.:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexportJAVA_HOMECLASSPATHPATH退出wqsource/etc/profile回

2、车java-version测评*******************************************************************************《二》配置开发环境-Hadoop安装与伪分布式集群搭建cd/opt回车ls回车echo$JAVA_HOME回车ls/app回车ls回车mkdir/app回车cp*/app回车cd/app回车ls回车tar-zxvfhadoop-3.1.0.tar.gz回车lstar-zxvfjdk-8u171-linux-x64.tar.gz回车ls回车mvha

3、doop-3.1.0hadoop3.1回车cdjdk1.8.0_171/回车pwd回车vim/etc/profile最底下按i复制exportJAVA_HOME=/app/jdk1.8.0_171exportHADOOP_HOME=/app/hadoop3.1exportPATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH退出wqsource/etc/profile回车java-version回车cd/app回车ssh-keygen-trsa-P''按回车ca

4、t~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys回车chmod600~/.ssh/authorized_keys回车vim/etc/ssh/sshd_config找到#AuthorizedKeysFile%h/.ssh/authorized_keys把#删除退出wqcd/app/hadoop3.1/etc/hadoop/回车vimhadoop-env.sh找到#JAVA_HOME=/usr/java/testinghdfsdfs-ls这一行按i在最后面回车，添加下面代码：exportJAVA_H

5、OME=/app/jdk1.8.0_171退出wqvimyarn-env.sh最底下按i回车exportJAVA_HOME=/app/jdk1.8.0_171退出wq————————1————————————————————————————————vimcore-site.xml找到然后按i在中间回车fs.default.namehdfs://localhost:9000

6、>HDFS的URI，文件系统://namenode标识:端口号hadoop.tmp.dir/usr/hadoop/tmpnamenode上本地的hadoop临时文件夹然后:wq—————————2——————————————————————————————vimhdfs-site.xml找到

7、iguration>然后按i在中间回车dfs.name.dir/usr/hadoop/hdfs/namenamenode上存储hdfs名字空间元数据dfs.data.dir/usr/hadoop/hdfs/datadatanode上数据块的物理存储位置<

8、/property>dfs.replication1然后:wq——————————3————————————————————————————vimma