欢迎来到天天文库
浏览记录
ID:37489602
大小:677.81 KB
页数:29页
时间:2019-05-24
《hive开发资料》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。本文讲解如何搭建一个Hive平台。假设我们有3台机器:hadoop1,hadoop2,hadoop3。并且都安装好了Hadoop-0.19.2(hive支持的Hadoop版本很多),hosts文件配置正确。Hive部署在hadoop1机器上。最简单,最快速的部署方案在Hadoop-0.19.2中自带了h
2、ive的文件。版本为0.3.0。我们首先启动Hadoop:sh$HADOOP_HOME/bin/start-all.sh然后启动hive即可:sh$HADOOP_HOME/contrib/hive/bin/hive这个时候,我们的Hive的命令行接口就启动起来了,你可以直接输入命令来执行相应的hive应用了。这种部署方式使用derby的嵌入式模式,虽然简单快速,但是无法提供多用户同时访问,所以只能用于简单的测试,无法实际应用于生产环境。所以,我们要修改hive的默认配置,提高可用性。搭建多用户的,提供web界面的部署
3、方案目前只用比较多hive版本是hive-0.4.1。我们将使用这个版本来搭建hive平台。首先,下载hive-0.4.1:svncohttp://svn.apache.org/repos/asf/hadoop/hive/tags/release-0.4.1/hive-0.4.1然后,修改下载文件里面的编译选项文件shims/ivy.xml,将其修改为如下内容(对应的Hadoop版本为0.19.2) 4、doop.hive"module="shims"/> 接下来,我们使用ant去编译hive:antpa5、ckage编译成功后,我们会发现在build/dist目录中就是编译成功的文件。将这个目录设为$HIVE_HOME修改conf/hive-default.xml文件,主要修改内容如下: javax.jdo.option.ConnectionURL jdbc:derby://hadoop1:1527/metastore_db;create=true JDBCconnectstringforaJDBCmetastore<6、/description> javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.ClientDriver DriverclassnameforaJDBCmetastore在hadoop1机器上下载并安装apachederby数据库:wgethttp://labs.renren.c7、om/apache-mirror/db/derby/db-derby-10.5.3.0/db-derby-10.5.3.0-bin.zip解压derby后,设置$DERBY_HOME然后启动derby的networkServer:sh$DERBY_HOME/bin/startNetworkServer-h0.0.0.0接下来,将$DERBY_HOME/lib目录下的derbyclient.jar与derbytools.jar文件copy到$HIVE_HOME/lib目录下。启动Hadoop:sh$HADOOP_HOM8、E/bin/start-all.sh最后,启动hive的web界面:sh$HIVE_HOME/bin/hive--servicehwi这样,我们的hive就部署完成了。我们可以直接在浏览器中输入:http://hadoop1:9999/hwi/进行访问了(如果不行话,请将hadoop1替换为实际的ip地址,如:http://10.210.152
4、doop.hive"module="shims"/> 接下来,我们使用ant去编译hive:antpa
5、ckage编译成功后,我们会发现在build/dist目录中就是编译成功的文件。将这个目录设为$HIVE_HOME修改conf/hive-default.xml文件,主要修改内容如下: javax.jdo.option.ConnectionURL jdbc:derby://hadoop1:1527/metastore_db;create=true JDBCconnectstringforaJDBCmetastore<
6、/description> javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.ClientDriver DriverclassnameforaJDBCmetastore在hadoop1机器上下载并安装apachederby数据库:wgethttp://labs.renren.c
7、om/apache-mirror/db/derby/db-derby-10.5.3.0/db-derby-10.5.3.0-bin.zip解压derby后,设置$DERBY_HOME然后启动derby的networkServer:sh$DERBY_HOME/bin/startNetworkServer-h0.0.0.0接下来,将$DERBY_HOME/lib目录下的derbyclient.jar与derbytools.jar文件copy到$HIVE_HOME/lib目录下。启动Hadoop:sh$HADOOP_HOM
8、E/bin/start-all.sh最后,启动hive的web界面:sh$HIVE_HOME/bin/hive--servicehwi这样,我们的hive就部署完成了。我们可以直接在浏览器中输入:http://hadoop1:9999/hwi/进行访问了(如果不行话,请将hadoop1替换为实际的ip地址,如:http://10.210.152
此文档下载收益归作者所有