尚学堂hadoop培训hadoop单机模式安装

《尚学堂hadoop培训hadoop单机模式安装》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、北京尚学堂提供因为最近想做一个基于豆瓣图书分析的展示系统，hadoop处理海量数据有巨大优势，于是在一无所知在Ubuntu下安装hadoop，历经各种曲折，先将经验与大家博友分享，首先，了解Hadoop的三种安装模式：1. 单机模式. 单机模式是Hadoop的默认模。当配置文件为空时，Hadoop完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。2. 伪分布模式.Hadoop守护进程运行在本地机器上，模拟一个小规模的的集群。该模式

2、在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。3. 全分布模式.Hadoop守护进程运行在一个集群上。现在我搭建的环境是   (1)JDK1.8.0_45 (2)  ubuntu-14.04.2-desktop-i386 (3)hadoop2.7.0  都算比较新的版本 废话少说了，开始搭建。一：在Ubuntu下创建hadoop用户组和用户（为了便于以后联机）1:增加用户名和用户组1.kaka@Rev$ sudo  addgroup  hadoop  2.kaka@Rev$ sudo 

3、 adduser  –ingroup  hadoop  hadoop  2:增加hadoop用户为管理员权限，打开/etc/sudoers（因为后期会有大量的pemission）1.kaka@Rev$ sudo  vi /etc/sudoers  在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL二、配置SSH(其实作为单机模式和伪分布模式是不需要的)配置SSH是为了实现各机器之间执行指令无需输入登录密码。务必要避免输入密码，否则，主节点每次试图访问其他节点时，都需要手动输入这个密

4、码。SSH无密码原理：master（namenode/jobtrack）作为客户端，要实现无密码公钥认证，连接到服务器slave（datanode/tasktracker）上时，需要在master上生成一个公钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的slave上。当master通过SSH连接slave时，slave就会生成一个随机数并用master的公钥对随机数进行加密，并发送给master。Master收到密钥加密数之后再用私钥解密，并将解密数回传给slave，slave确认解密数无误后就允许master进行连接了。这就是一个

5、公钥认证的过程，期间不需要用户手工输入密码。重要过程是将客户端master复制到slave上。1：在线安装ssh先连接到hadoop账户下suhadoop,然后安装1.hadoop@Rev$ sudo apt-get install openssh-server    此时可能会报错就是sshserver版本过高的问题正在读取软件包列表...完成正在分析软件包的依赖关系树      正在读取状态信息...完成      有一些软件包无法被安装。如果您用的是unstable发行版，这也许是因为系统无法达到您要求的状态造成的。该版本中可能会有

6、一些您需要的软件包尚未被创建或是它们已被从新到(Incoming)目录移出。下列信息可能会对解决问题有所帮助：下列软件包有未满足的依赖关系： openssh-server:依赖:openssh-client(=1:6.6p1-2ubuntu1)E:无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。这时候只需要将原来版本覆盖成需要版本即可1.hadoop@Rev$ sudo apt-get install openssh-client=1:6.6p1-2ubuntu1  2：启动ssh，查看是否装好1.hadoo

7、p@Rev$ sudo  sudo /etc/init.d/ssh start   1.hadoop@Rev$ ps -e 

8、grep ssh   3作为一个安全通信协议（ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式），使用时需要密码，因此我们要设置成免密码登录，生成私钥和公钥：hadoop@Rev$sudo  ssh-keygen -t rsa -P ""   回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的前者为私钥，后者为公钥进入~/.ssh/目录下，将公钥id

9、_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用