ubuntu搭建hadoop单节点

《ubuntu搭建hadoop单节点》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《云计算架构计算（Hadoop）》Hadoop服务器集群搭建说明书2015年5月26日项目名称搭建Hadoop高可用集群项目情境及目标在Ubuntu下搭建Hadoop单节点，实现简单的本地服务。操作系统及应用软件系统：ububtu14.10软件：ssh，jdk-8u45-linux-x64，Hadoop-2.6.0.tar.gz组员及分工姓名任务分工单节点搭建单节点搭建单节点搭建单节点搭建开始时间第十一周预计完成时间第十三周申请答辩考核时间第十四周备注基于Ubuntu操作系统实现Hadoop集群的搭建Hadoop是一个由Apache基金会所开

2、发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的能力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streamingaccess）文件系统中

3、的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算一、环境准备1.系统：Vmwareworkstation112.软件：SSH；hadoop-2.6.0.tar.gz；jdk-8u45-linux-x64.tar.gz二、软件安装1.安装hadoop-2.6.0.tar.gz2.安装jdk-8u45-linux-x64.tar.gz三、配置过程1.修改jdk和hadoop环境变量：hadoop@stu:~$vim/home/hadoop/.bas

4、hrchadoop@stu:~$source.bashrc2.创建hadoop群组和hadoop用户。root@stu:/#groupaddHadooproot@stu:/#useraddhadoop-gHadoop3.配置ssh免密钥登陆hadoop@stu:~/.ssh$ssh-keygenhadoop@stu:~/.ssh$catid_dsa.pub>>authorized_keyshadoop@stu:~/.ssh$chmod600authorized_keys4.进入hadoop文件夹，修改配置文件：①hadoop@stu:~/ha

5、doop-2.6.0/etc/hadoop$vimcore-site.xmlfs.default.namehdfs://localhost:9000hadoop.tmp.dir/home/hadoop/hadoop②hadoop@stu:~/hadoop-2.6.0/etc/hadoop$

6、vimhdfs-site.xmldfs.replication1③hadoop@stu:~/hadoop-2.6.0/etc/hadoop$vimmapred-site.xmlmapred.job.trackerlocalhost:9001

7、ation>④hadoop@stu:~/hadoop-2.6.0/etc/hadoop$vimhadoop-env.sh#Thejavaimplementationtouse.exportJAVA_HOME=/usr/local/jdk1.8.0_455.格式化HDFS系统hadoop@stu:~/hadoop-2.6.0/bin$hadoopnamenode–format6.启动hadoophadoop@stu:~/hadoop-2.6.0$sbin/start-dfs.shStartingnamenodeson[localhost]loc

8、alhost:startingnamenode,loggingto/home/hadoop/hadoop-2.6.0/logs/hadoop-hadoop-name