分布式数据库 hbase 的高可用管理和监控

《分布式数据库 hbase 的高可用管理和监控》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、网址：edu.51CTO.com分布式数据库Hbase的高可用管理和监控ApacheHBase的基本知识2006年11月，Google发表了一篇名为《BigTable》论文,2007年2月，Hadoop的开发人员对其进行实现并命名为HBase。HBase是基于Hadoop之上的一种新型的基于列存储的开源数据存储架构，用于解决大数据问题，是Hadoop的分布式数据库。HBase现在已经比较成熟，最新的稳定版本是0.94.x。HBase已经被很多大公司采用，如Facebook,Twitter，Adobe,Cloudera,IBM,等等。HBase不是传统RDBMS意

2、义上的基于列的数据库，而是利用磁盘进行列存储格式的数据库，其优势在于提供基于关键字的特定列和顺序范围的快速访问。HBase有三个重要的组件：客户端库，一个masterserver（可以配置多个备用master，后文将对此进行详细描述）以及多个RegionServer。Master负责分配Region到各个不同的RegionServer上，RegionServer负责存储实际的数据。同时，HBase通过使用ZooKeeper，一种可靠，高可用，一致性的分布式协同服务来帮助其完成相应的任务。HBase集群管理员可以通过在系统运行过程中添加和删除RegionServe

3、r节点来调节改变工作负载。HBase以HFile作为存储数据的基本格式，其底层的文件系统默认采用HDFS。图1.HBases基本架构网址：edu.51CTO.com图1.显示了不同的组件如HDFS，Zookeeper是怎样与HBase一起协调工作的。MasterServer负责处理跨RegionServer的regions数据的导入平衡，卸载繁忙的RegionServer负担，将region转移到更空余的RegionServer上。HBaseMaster不负责实际的数据存储，它协调导入平衡，维护集群的状态，维护schema的更改和metadata元数据操作，如创

4、建表和列族（columnfamilies），但从不提供任何数据服务。Regionservers负责加载和维护region，包括处理对其管理的region的所有读写请求，以及region大小增长到超过配置阀值的时候对其进行切分。客户端通过与Zookeeper通信获取到其需要进行读写操作的region所在的RegionServer之后，将直接与RegionServer通信，并由RegionServer处理所有相关的请求。IBMBigInsights架构中的HBaseIBMBigData（大数据）产品InfoSphereBigInsights是大数据管理与分析平台，其

5、底层架构也采用了Hadoop和HBase对结构化和非结构化数据进行存储和查询。BigInsightsz集群软件层次中的HBaseBigInsights整合了很多已有的Hadoop开源组件，如HDFS,MapReduce,HBase,Zookeeper等，将它们很好的融入BigInsights软件体系，并与其他BigInsights的组件一起协同工作在同一个平台上。HBase被用作BigInsights的存储数据库，Zookeeper被用作BigInsights的服务协同组件。如果要使用HBase,我们需要同时安装Hadoop,Zookeeper,因为HBase采

6、用Hadoop作为其文件系统，采用Zookeeper作为其服务协同支持。当把BigInsights部署到一个集群上时，软件层次的结构如图2.所示：网址：edu.51CTO.com图2.BigInsights中Hadoop开源组件列表HBase安装和配置BigInsights产品集成了经过IBMJDK编译和一定改进扩展后的HBase。在BigInsights产品的安装过程中可以通过安装界面选择和配置HBase,配置内容包括指定HBase安装路径，日志目录，指定集群中HBaseMaster和HBaseRegionservers节点以及服务端口。HBase的二进制软件

7、包默认安装和配置在BigInsights集群的所有节点上，也就是说安装完BigInsights以后的每个BigInsights节点都可以作为HBase的客户端使用。在安装BigInsights之前，需要从解压以后的根目录下运行start.sh脚本，然后在浏览器中输入URLhttp://your-server:8300/Install/打开安装向导，安装向导将引领您完成后续的安装步骤，安装过程将包括：安装类型（选择多节点分布式集群安装和配置）选择，文件系统选择，组，用户名及SSH配置，指定集群节点，组件安装，安全类型选择等，下面给出具体的HBase以及Zookee

8、per的安装配置实例。网