4-Hbase安装配置和应用实践

《4-Hbase安装配置和应用实践》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、HBase集群的安装配置和应用实践一、实验目的1、掌握Hbase在Hadoop集群体系结构中发挥的作用和使用过程。2、掌握安装和配置HBase基本方法。3、掌握HBase基本应用开发知识。二、实验原理HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapRed

2、uce来处理Bigtable中的海量数据，HBase同样利用HadoopMapReduce来处理HBase中的海量数据；GoogleBigtable利用Chubby作为协同服务，HBase利用Zookeeper作为对应。[HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。]上图描述了HadoopEcoSystem中的各层系统，其中HBase位于结构化存储层，HadoopHDFS为HBase提供了高可靠性的底层存储支

3、持，HadoopMapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。HBase具有以下特性：1、线性及模块可扩展性。2、严格一致读写性。3、可配置的表自动分割策略。4、RegionServer自动故障恢复。5、便利地备份MapReduce作业的基类。6、便于客户端访问的JavaAP

4、I。7、为实时查询提供了块缓存和BloomFilter。8、可通过服务器端的过滤器进行查询下推预测。9、提供XML、Protobuf及二进制编码的Thrift网管和REST-ful网络服务。10、可扩展的JIRB(jruby-based)shell。11、支持通过Hadoop或JMX将度量标准倒出到文件或Ganglia中。三、实验内容实验的主要内容有如下几点：1、ntp时间同步服务器搭建与使用2、Zookeeper集群环境安装过程详解3、HBase的安装和配置。4、HBase开发实践。四、实验步骤本实验以unbutu14.04,hadoop2.20集群为前提进

5、行实验。Zookeeper安装版本为zookeeper-3.4.5，HBase安装版本为hbase-0.96.2-hadoop2。Hadoop集群ip及角色分配如下10.31.44.117master(namenode)10.31.44.200slaver1(datanode)10.31.44.201slaver2(datanode)第一部分：准备工作(Hadoop、SSH、NTP)1、Hadoop完全分布式的安装：必须可以正常启动HDFS系统，确保hdfs能够上传和读写文件。2、SSH无密验证双向互通：这个具体安装，并且达到无密码登录前面已经介绍。但是要达到

6、双向无密码互通我们只需要将每台机器的公钥均写入到同一个授权文件，然后将授权文件复制到每台机器上即可(具体公钥写入授权文件的方法参考Hadoop完全分布式的安装试验)。这样就可以达到双向无密码互通。这样Hadoop的脚本才可以远程操控其他的Hadoop和Hbase进程。3、Ntp时间同步服务器安装配置：集群的时钟要保证基本的一致。稍有不一致是可以容忍的，但是很大的不一致会造成奇怪的行为。运行NTP或者其他什么东西来同步你的时间.下面对Ntp时间同步服务器NTP安装配置步骤如下：3.1、服务端（master）apt-getinstallntp安装后默认启动服务，如

7、果没有启动，启动之。/etc/init.d/ntpstart vim/etc/ntp.conf修改为如下:重启ntp服务 /etc/init.d/ntprestart3.2、客户端（slaver1、slaver2）1)使用ntpdate命令，如果不存在这个命令，则先安装apt-getinstallntp2)/usr/sbin/ntpdate10.31.44.117//即使用ip为10.31.44.117的ntp服务器同步时间3)设置定时同步 vim/etc/crontab系统便会在每天早上1点30分自动将系统时间同步到ntp服务器的时间当然这里crontab的

8、时间是指客户端的时间，同步后等同于nt