hive安装使用说明

《hive安装使用说明》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、HIVE安装使用说明一、Hive简介1.1.Hive是什么Hadoop作为分布式运算的基础架构设施，统计分析需要采用MapReduce编写程序后，放到Hadoop集群中进行统计分析计算，使用起来较为不便，Hive产品采用类似SQL的语句快速实现简单的MapReduce统计，很大程度降低了Hadoop的学习使用成本。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供基础的SQL查询功能，可以将SQL语句转换为MapReduce任务运行，而不必开发专门的MapReduce应用

2、，十分适合数据仓库的统计分析。1.2.部署架构16/16Hive中的Driver为核心驱动部分，包括SQL语句的解释、编译为MapReduce任务，并进行优化、执行。Hive用户访问包括4种运行和访问方式，一是CLI客户端；二是HiveServer2和Beeline方式；三是HCatalog/WebHCat方式；四是HWI方式。其中CLI、Beeline均为控制台命令行操作模式，区别在于CLI只能操作本地Hive服务，而Beeline可以通过JDBC连接远程服务。HiveServer2为采用Thrift提供的远程调

3、用接口，并提供标准的JDBC连接访问方式。HCatalog是Hadoop的元数据和数据表的管理系统，WebHCat则提供一条Restful的HCatalog远程访问接口，HCatalog的使用目前资料很少，尚未充分了解。HWI是HiveWebInterface的简称，可以理解为CLI的WEB访问方式，因当前安装介质中未找到HWI对应的WAR文件，未能进行使用学习。Hive在运行过程中，还需要提供MetaStore提供对元数据（包括表结构、表与数据文件的关系等）的保存，Hive提供三种形式的MetaStore：一是内

4、嵌Derby方式，该方式一般用演示环境的搭建；二是采用第三方数据库进行保存，例如常用的MySQL等；三是远程接口方式，及由Hive自身提供远程服务，供其他Hive应用使用。在本安装示例中采用的第二种方式进行安装部署。备注：在本文后续的安装和说明中，所有示例均以HiverServer2、16/16Beeline方式进行。另：因Hive在查询时性能较差，后期拟计划采用SPARK或Presto进行替代，因此本安装手册不对Hive的集群方案进行描述。1.1.环境说明本安装示例在Ubuntu14.04.3的虚拟器中进行安装，

5、并提前安装配置Hadoop。机器名IP地址安装软件启用服务hdfs110.68.19.184HiveHadoophdfs210.68.19.182Hadoophdfs310.68.19.183MySQLHadoop一、MySQL安装配置2.1.MySQL安装登录到hdfs3中，安装MySQL服务器。$sudoapt-getinstallmysql-server修改my.cfg的配置文件$sudovi/etc/mysql/my.cfg修改内容如下：bind-address      =10.68.19.183:wq重

6、新启动mysql服务$sudoservicemysqlrestart16/162.2.创建Hive需要的数据库和用户$mysql-uroot-p依次输入以下命令：#创建hive用户insertintomysql.user(Host,User,Password)values("localhost","hive",password("hive"));#创建数据库createdatabasehive;#授权grantallonhive.*tohive@'%'identifiedby'hive';grantallonhiv

7、e.*tohive@'localhost'identifiedby'hive';flushprivileges;#退出exit一、Hive安装3.1.下载Hive从官网(http://hive.apache.org/downloads.html)上下载最新的稳定版本地址，并上传到服务器上。本安装示例采用的版本为apache-hive-1.2.1-bin.tar.gz。3.2.解压并配置环境变量解压安装文件到/opt目录$tar-zxvfapache-hive-1.2.1-bin.tar.gz-C/opt修改环境变量

8、$sudovi/etc/profile修改如下内容exportHIVE_HOME=/opt/hive-1.2.1exportPATH="$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH":wq16/16启用配置$source/etc/profile3.3.修改配置文件$cd$HIVE_HOME$cpco