hiveContext不能使用的问题解决.doc

《hiveContext不能使用的问题解决.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、关于spark中hiveContext不能使用的问题（hive远程连接MySQL）这两天一直在配置spark中的hive。主要碰到的问题有：1：hive安装不能启动2：hive安装能够启动，但是spark-sql不能启动3：hive安装能够启动，但是hiveContext不能使用针对这几个问题，我来总结一下我的解决方法：我的环境：Master：10.2.2.132sparker001sparkerSlave1:10.2.2.133sparker002sparkerSlave2:10.2.2.134

2、sparker003sparker①：需要安装MySQL，对于MySQL的安装，有一点需要提醒，就是需要使用root权限，就是在root用户下安装。我们在10.2.2.132机器上安装。②：下载安装hive，我的hive-site.xml的配置如下：javax.jdo.option.ConnectionURL<

3、value>jdbc:mysql://10.2.2.132:3306/hive?createDatabaseIfNotExist=trueJDBCconnectstringforaJDBCmetastorejavax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driver

4、iption>DriverclassnameforaJDBCmetastorejavax.jdo.option.ConnectionUserNamerootusernametouseagainstmetastoredatabasejavax.jdo.option.Co

5、nnectionPasswordroot123passwordtouseagainstmetastoredatabase这里我们用的MySQL作为我们的数据库。而hive中有两种MySQL的连接方式：本地和远程。对于hiveContext需要使用的是远程。③：hive-env.sh的配置exportHIVE_AUX_JARS_PATH=/home/

6、sparker/hive/libexportHADOOP_HOME=/home/sparker/hadoop-2.5.2exportHIVE_CONF_DIR=/home/sparker/hive/conf④：拷贝my-sqlconnector到hive/lib下mysql-connector-java-5.1.26-bin.jar⑤：拷贝一份hive-site.xml到Hadoop的conf目录下，然后将其中的内容修改如下：

7、"configuration.xsl"?>javax.jdo.option.ConnectionURLjdbc:mysql://10.2.2.132:3306/saledata?createDatabaseIfNotExist=trueJDBCconnectstringforaJDBCmetastore

8、y>javax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.DriverDriverclassnameforaJDBCmetastorejavax.jdo.option.ConnectionUserNameroot