HBASE安装部署、参数设置、备份恢复、监控规范标准

《HBASE安装部署、参数设置、备份恢复、监控规范标准》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、....HBASE安装部署、参数设置、备份、恢复、监控规范普元信息技术股份有限公司2014年10月资料整理....目录1概述31.1背景31.2目的41.3范围42硬件准备53实施53.1软件准备53.2HBASE服务器规划53.3HBASE安装部署53.4HBASE参数配置93.5HBASE备份恢复103.5.1常用的在线备份方案及其比较103.5.2原理123.5.2.1Replication总体结构123.5.2.2Replication工作流程133.5.2.3ReplicationClass简介143.5.2.4Replicatio

2、nZookeeper上的结构153.5.2.5ReplicationFailover163.5.3部署183.5.3.1Master集群配置文件183.5.3.2Slave集群配置文件203.5.3.3Master集群配置203.5.3.4Slave集群配置203.6HBASE监控203.6.1hbase的监控配置说明213.6.2hadoop基于ganglia的监控框架213.6.3hbaseregionserver中RPCmetric的计算采集223.6.4hbase中JVM监控数据的计算采集233.6.5hbase中regionserv

3、er进程相关metric的计算采集243.6.5.1region的metric采集253.6.5.2blockcache相关的metric采集263.6.5.3读写请求的metric采集263.6.5.4dfs操作的metric采集273.6.5.5compact与split的操作数据采集283.6.5.6handler的metric采集29资料整理....1概述1.1背景随着OSS域各个系统的建设，系统间数据共享的需求也越来越多。目前，贵州移动的网管系统在总部规范指导下，按需逐年建设而成的。这些系统实现对通信网络和业务平台的管理，支撑配置管

4、理、故障监控、指标分析、网络优化、例行维护、指挥调度等工作。但是，面向网元和网络的分专业网管，难以支持以客户感知为核心、面向端到端业务实现的运维管理新要求。越来越多的跨系统应用需要同时来自多个生产系统的数据进行支撑，实际生产分析场景需要将多类型、多专业的性能、质量等数据的进行集中管理，并建立模型关联，准实时、非实时分析需求并存。CMOSS2.0明确提出了数据集成和共享平台的技术架构要求。包括服务总线和数据总线。数据集成和共享平台作为所有系统的交互桥梁，能够实现全面支持CMOSS规范中的所有共享模式，提升系统稳定性及业务吞吐量；提供基于标准模型

5、的数据共享服务，以解决数据开放共享问题。建设效果直接影响到中国移动的IT业务能力和IT功能支撑能力。根据集团CMOSS2.0技术规范的要求，结合贵州移动在网管领域对数据共享的具体需求。贵州移动规划建立网络数据共享平台，通过对生产系统数据准实时的采集，将数据汇总到数据共享平台上。利用目前业界最新的数据分析和处理技术，按照不同的业务视角利用采集到数据，为企业运营提供技术决策依据。同时，由于统计分析使用的数据和生产运营的数据分离，可以较少对正式系统的影响，从而保障生产系统运营更加稳定、可靠。由于数据来自各个专业系统，需要面对不同的厂商、不同的技术架

6、构。在数据共享平台的建设过程中，存在数据标准化、服务标准化、大数据处理等问题。这些问题是数据集成和共享平台建设成功的关键，需要重点解决。1)对现有网管数据从生产到消费的全流程梳理，形成网管数据血缘关系和数据地图，以作为网管数据统一建模、集成共享的基础；2)根据数据地图，建立可扩展的、面向底层数据源和上层应用灵活适配的网管数据模型，作为数据共享中心模型标准。3)资料整理....研究海量数据共享技术和模式，对数据库共享、数据编排、服务共享等数据共享技术和模式进行评估，制定符合网络数据中心的共享技术标准。1)Hadoop是当前大数据处理常用的技术，

7、但HadoopNoSQL和多接点的特点，为应用开发和平台维护带来一定的难道。通过技术服务，对Hadoop应用开发提供参考标准和技术支持，研究并制定Hadoop平台的维护标准。1.1目的1)形成对网管数据地图与数据模型标准的梳理，作为在建数据共享中心的规范与指导；2)研究海量数据的处理与分析技术、模式，为后续进一步建立针对大数据的数据共享中心提供可行方案与指导。为了达到上述目标，本项目分解为四个子项目，各子项目工作内容如下：1)网络数据地图研究子项目Ø对现有网管数据从生产到消费的全流程梳理，形成网管数据血缘关系和数据地图，以作为网管数据统一建模

8、、集成共享的基础；2)网络数据共享模型标准研究子项目Ø根据数据地图，建立可扩展的、面向底层数据源和上层应用灵活适配的网管数据模型，作为数据共享中心模型标准。3)网络