hadoop与hbase与hive与oozie安装使用文档

《hadoop与hbase与hive与oozie安装使用文档》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、HadoopHBaseHiveOozie安装使用文档目录Hadoop-2.0HA解决方案安装文档11.安装NFS并配置共享目录22.修改hadoop安装目录下etc/hadoop/core-site.xml43.修改hdfs-site.xml44.NameNode格式化65.HDFS(HA)的初始化76.zkfc格式化77.HDFS(HA)的管理78.验证hadoop-2.0HA高可用是否成功7HBase安装文档10一、环境简介10二、安装步骤101.解压安装包102.修改配置文件hbase-site.xml10

2、3.修改配置文件regionservers114.修改配置文件hbase-evn.sh115.使用scp命令将HBase主目录复制到另外三台服务器相同的路径下：116.对每台服务器进行时间同步117.启动HBase128.验证是否成功启动129.关闭HBase13Hive安装文档14一、环境简介14二、安装步骤141.为Hive创建mysql用户及数据库，并赋予足够的权限142.解压Hive安装包143.生成配置文件144.修改配置文件155.下载、安装mysql驱动156.验证Hive安装16三、Hive的连接

3、161.使用jdbc连接Hive数据库162使用HBase连接Hive数据库17Oozie安装使用文档20一、环境简介20二、安装步骤201.解压Tomcat安装包202.验证Tomcat安装203.为Oozie创建mysql用户及数据库，并赋予足够的权限214.解压Oozie安装包215.添加环境变量216.修改配置文件217.安装mysql驱动228.在mysql上为Oozie创建数据库模式229.安装OozieWeb控制台2210.启动Oozie2211.查看Web控制台2212.关闭Oozie23三、使用

4、范例231解压Oozie自带的examples包232.将解压出的examples文件夹上传至hadoop存储环境的根文件夹下233.修改Hadoop的core-site.xml配置文件234.修改map-reducejob的job.properties文件245.执行map-reducejob24Hadoop-2.0HA解决方案安装文档版本：v1.0发布日期：2012年8月21日241.安装NFS并配置共享目录NFS是NetworkFileSystem的简写,即网络文件系统.网络文件系统是FreeBSD支持的文

5、件系统中的一种，也被称为NFS.NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以象访问本地文件一样访问远端系统上的文件。CentOS系统中如何安装和配置nfs呢，下面我们就来学习一下方法。首先我们来介绍一些会用到的CentOS系统命令。1)安装$yum-yinstallnfs-utils2)创建共享目录$suroot(切换到root用户，因为NFS只能被root用户使用)$mkdir–p/smp/hadoop-cdh4$chmod–R777/smp/hadoop-cdh4(因为是ro

6、ot用户创建,要给当前用户赋可读写的权限)3)配置$vi/etc/exports在配置文件中添加你要共享的目录等信息，例如：/smp/hadoop-cdh4*(rw,sync,no_root_squash)内容具体参数说明如下：[共享的目录][主机名或IP(参数,参数)]其中参数是可选的，当不指定参数时，nfs将使用默认选项。默认的共享选项是sync,ro,root_squash,no_delay。CentOS系统中，当主机名或IP地址为空时，则代表共享给任意客户机提供服务。当将同一目录共享给多个客户机，但对每个

7、客户机提供的权限不同时，可以这样：[共享的目录][主机名1或IP1(参数1,参数2)][主机名2或IP2(参数3,参数4)]下面是一些NFS共享的常用参数：1.ro只读访问2.rw读写访问3.sync所有数据在请求时写入共享4.asyncNFS在写入数据前可以相应请求5.secureNFS通过1024以下的安全TCP/IP端口发送6.insecureNFS通过1024以上的端口发送7.wdelay如果多个用户要写入NFS目录，则归组写入（默认）8.no_wdelay如果多个用户要写入NFS目录，则立即写入，当使用

8、async时，无需此设置。9.hide在NFS共享目录中不共享其子目录10.no_hide共享NFS目录的子目录11.subtree_check如果共享/usr/bin之类的子目录时，强制NFS检查父目录的权限（默认）12.no_subtree_check和上面相对，不检查父目录权限2413.all_squash共享文件的UID和GID映射匿名用户anonymous，适合