hive安装部署、参数设置、备份恢复、监控规范

《hive安装部署、参数设置、备份恢复、监控规范》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、中国移动通信集团贵州有限公司2014年网络部网管数据集成与共享标准技术服务项目HIVE安装部署、参数设置、备份、恢复、监控规范普元信息技术股份有限公司2014年10月中国移动通信集团贵州有限公司2014年网络部网管数据集成与共享标准技术服务项目目录1概述41.1背景41.2目的51.3范围52硬件准备63实施63.1软件准备63.1.1公共服务软件安装63.1.1.1CENTOS6.2系统安装63.1.2云平台部署73.1.2.1集群规划73.1.2.1.1功能规划73.1.2.1.2架构图83.1.2.2系统安全83.1.2.3系统参数配置83.1.2.3.1公共设置83.1.2.3.2S

2、SH登录免认证配置103.1.2.3.3JAVA环境配置及JDK安装113.1.2.3.4NTP时钟同步配置123.2HIVE安装部署133.3HIVE参数配置143.3.1配置HIVE_HOME及PATH环境变量143.3.2配置HIVE配置文件143.4HIVE备份恢复153.4.1HIVE的元数据备份方案153.4.2HIVE的SecondaryNameNode方案163.4.3HIVE的CheckpointNode方案163.4.4HIVE的BackupNode方案163.4.5DRDB方案173.4.6FaceBook的AvatarNode方案173.4.7方案优缺点比较173.4

3、.8总结183.5HIVE云平台监控193.5.1HIVE云平台监控模块说明193.5.2云平台节点存储情况(dfsadmin_rpt.sh)193.5.2.1程序部署193.5.2.2程序193.5.2.3程序执行193/11中国移动通信集团贵州有限公司2014年网络部网管数据集成与共享标准技术服务项目3.5.2.4命令详解193.5.2.5注意事项203.5.3作业运行监控--作业列表(job_list.sh)203.5.3.1程序部署203.5.3.2程序203.5.3.3程序执行203.5.3.4命令详解213.5.3.5注意事项213.5.4作业运行监控--作业状态(job_sta

4、tus.sh)213.5.4.1程序部署213.5.4.2程序213.5.4.3程序执行213.5.4.4命令详解223.5.5作业运行监控--语句执行情况(job_parameter.sh)223.5.5.1程序部署223.5.5.2程序223.5.5.3程序执行233.5.6作业运行监控--分析MR程序详细情况(job_detail.sh)233.5.6.1程序部署233.5.6.2程序233.5.6.3程序执行233.5.6.4命令详解233.5.7HIVE自有WEB监控功能说明243.5.7.1JOB作业监控243.5.7.2HDFS文件系统监控243.5.8GANGLIA工具监控H

5、IVE集群253/11中国移动通信集团贵州有限公司2014年网络部网管数据集成与共享标准技术服务项目1概述1.1背景随着OSS域各个系统的建设，系统间数据共享的需求也越来越多。目前，贵州移动的网管系统在总部规范指导下，按需逐年建设而成的。这些系统实现对通信网络和业务平台的管理，支撑配置管理、故障监控、指标分析、网络优化、例行维护、指挥调度等工作。但是，面向网元和网络的分专业网管，难以支持以客户感知为核心、面向端到端业务实现的运维管理新要求。越来越多的跨系统应用需要同时来自多个生产系统的数据进行支撑，实际生产分析场景需要将多类型、多专业的性能、质量等数据的进行集中管理，并建立模型关联，准实时、

6、非实时分析需求并存。CMOSS2.0明确提出了数据集成和共享平台的技术架构要求。包括服务总线和数据总线。数据集成和共享平台作为所有系统的交互桥梁，能够实现全面支持CMOSS规范中的所有共享模式，提升系统稳定性及业务吞吐量；提供基于标准模型的数据共享服务，以解决数据开放共享问题。建设效果直接影响到中国移动的IT业务能力和IT功能支撑能力。根据集团CMOSS2.0技术规范的要求，结合贵州移动在网管领域对数据共享的具体需求。贵州移动规划建立网络数据共享平台，通过对生产系统数据准实时的采集，将数据汇总到数据共享平台上。利用目前业界最新的数据分析和处理技术，按照不同的业务视角利用采集到数据，为企业运营

7、提供技术决策依据。同时，由于统计分析使用的数据和生产运营的数据分离，可以较少对正式系统的影响，从而保障生产系统运营更加稳定、可靠。由于数据来自各个专业系统，需要面对不同的厂商、不同的技术架构。在数据共享平台的建设过程中，存在数据标准化、服务标准化、大数据处理等问题。这些问题是数据集成和共享平台建设成功的关键，需要重点解决。1)对现有网管数据从生产到消费的全流程梳理，形成网管数据血缘关系和数据地图，以作为网管数