hadoop常用命令

《hadoop常用命令》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、启动Hadoop·进入HADOOP_HOME目录。·执行shbin/start-all.sh关闭Hadoop·进入HADOOP_HOME目录。·执行shbin/stop-all.sh 1、查看指定目录下内容hadoopdfs–ls[文件目录]eg:hadoopdfs–ls/user/wangkai.pt2、打开某个已存在文件hadoopdfs–cat[file_path]eg:hadoopdfs-cat/user/wangkai.pt/data.txt3、将本地文件存储至hadoophadoopfs–put[本地地址][hadoop目录]hado

2、opfs–put/home/t/file.txt /user/t   (file.txt是文件名)4、将本地文件夹存储至hadoophadoopfs–put[本地目录][hadoop目录] hadoopfs–put/home/t/dir_name/user/t(dir_name是文件夹名)5、将hadoop上某个文件down至本地已有目录下hadoopfs-get[文件目录][本地目录]hadoopfs–get/user/t/ok.txt/home/t6、删除hadoop上指定文件hadoopfs–rm[文件地址]hadoopfs–rm/user

3、/t/ok.txt7、删除hadoop上指定文件夹（包含子目录等）hadoopfs–rm[目录地址]hadoopfs–rmr/user/t8、在hadoop指定目录内创建新目录hadoopfs–mkdir/user/t9、在hadoop指定目录下新建一个空文件使用touchz命令：hadoop fs -touchz /user/new.txt10、将hadoop上某个文件重命名使用mv命令：hadoop fs –mv /user/test.txt /user/ok.txt  （将test.txt重命名为ok.txt）11、将hadoop指定目录下

4、所有内容保存为一个文件，同时down至本地hadoopdfs–getmerge/user/home/t12、将正在运行的hadoop作业kill掉hadoopjob–kill [job-id]1、列出所有HadoopShell支持的命令$bin/hadoopfs-help2、显示关于某个命令的详细信息$bin/hadoopfs-helpcommand-name3、用户可使用以下命令在指定路径下查看历史日志汇总$bin/hadoopjob-historyoutput-dir这条命令会显示作业的细节信息，失败和终止的任务细节。4、关于作业的更多细节，

5、比如成功的任务，以及对每个任务的所做的尝试次数等可以用下面的命令查看$bin/hadoopjob-historyalloutput-dir5、格式化一个新的分布式文件系统：$bin/hadoopnamenode-format6、在分配的NameNode上，运行下面的命令启动HDFS：$bin/start-dfs.shbin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。7、在分配的JobTracker上，运行下面的命令启动Ma

6、p/Reduce：$bin/start-mapred.shbin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。8、在分配的NameNode上，执行下面的命令停止HDFS：$bin/stop-dfs.shbin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止DataNode守护进程。9、在分配的JobTracker上，

7、运行下面的命令停止Map/Reduce：$bin/stop-mapred.shbin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止TaskTracker守护进程。DFSShell10、创建一个名为/foodir的目录$bin/hadoopdfs-mkdir/foodir11、创建一个名为/foodir的目录$bin/hadoopdfs-mkdir/foodir12、查看名为/foodir/myfile.txt的文件内容$bin/hadoopd

8、fs-cat/foodir/myfile.txtDFSAdmin13、将集群置于安全模式$bin/hadoopdfsadmin-safe