山西移动大数据运营管理平台实践经验分享

《山西移动大数据运营管理平台实践经验分享》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、山西移动大数据运营管理平台实践经验分享卢山山西移动业务支撑部山西移动大数据运营管理平台提供了一个开放、标准的运营管控中心，冇效满足了运营商和合作伙伴对大数据平台上作业任务在运营、调度、管理等方而的支撑。山西移动大数据平台通过“统一采集、统一存储、统一管理、统一运营、统一服务”策略实施，建立幵放、统一的大数据平台架构体系，实现资源共享、数据共享、按需服务，支持企业级业务应用百花齐放，支撑公司向移动互联网转型，探索新技术，满足高效低成本要求。随着山西移动大数据平台的建设，大数据平台架构搭建□臻完善，整体大数据平台己

2、经初具规模，形成了一系列的数据采集、数据处理、数据服务封装的能力。伴随着业务不断发展，越来越多的开发商需要借助大数据平台，提供和应能力以实现业务功能。然而，现阶段工作也面临众多亟待解决的问题：1.大数据平台是多租户的模式，不是一个厂商或一个供应商在大数据平台上执行开发任务，需要对各家应用提供标准化通用化的技术约束；2.大数据〒台是多技术混搭的T•台，开发商需要Hadoop、MPP、Spark、Stream等组件协同工作，进行数据及应用开发，需耍实现层次化的设计和开发环境支撑，需要建立大数据开发规范和标准，实现从

3、数据存储、计算、到数据开放的端到端的管理能力；3.大数据平台需要做到汇集公司所有数据源，需要多厂家的开发支撑，在众多数据源和厂商参与的情况下，对数据质量、数据安全、程序调度等能力进一步规范和制定标准，在大数据平台百花齐放的环境下实现管控。如何实现上述对大数据平台的运营及管控需求，大数据平台需要建立一套完善的运营管控体系和规范，规范和约束各厂家的开发、调度、运营，从而真正实现大数据百花齐放的新环境。平台定位大数据运营管控平台是大数据平台在开放体系架构之下，通过制定一套规范各厂家开发与运维的管理办法，从而规范大数据

4、平台与公司各系统的关系、数据交互的要求，提供开发者对于数据接入、数据整合开发及应用开发的规范标准，供山西移动内部和厂商共同使用。同吋，大数据运营管控平台的规范和标准适用于山西移动大数据平台开发者的协同规划、协同建设，III西移动大数据平台开发者在开发建设过程屮须遵照执行。大数据运营管控平台从定位角度，属于大数据平台的一个核心控制系统，大数据运营管控平台作为系统运行的裁判员和标准的制定者，负责系统运行任务的编排、审核、发布和指令调度管控，以及多租户模式下各厂商共同参与的人数据开发环境搭建及运维管理，为开发者和运维

5、者提供各类服务能力，保障整个大数据平台能够健康稳定运行。图1总体架构图下载原图建设思路山四移动大数据运营管控平台作为山四移动大数据平台能力的集成者、管控者、运维者、服务者，为山西移动打造大数据的开放化体系和百花争鸣的应用环境。主要通过以下4个方面进行建设。1.大数据能力集成者:能力的集成者，集成大数据开发、管理等工具，为大数据平台提供服务。2.开发的管控者:管控大数据开发和服务，保障大数据平台在开放环境下的统一开发和服务管理，从租户注册、资源/数据中请到产品开发、上线发布、运维的全流程支撑。3.数据的运维者:实

6、现统一任务执行的监控、应用上下线、使用资源的及时监控和预警、服务计量域收费全而的运维能力，保障大数据平台日常运行。4.服务的提供者:大数据平台从统一接入到退出的服务能力，为各厂家提供统一接入门户服务，提供便捷的接入能力，提供快速的开发及运营服务。建设方案一、总体建设方案及演进山西移动大数据运营管控平台采用分阶段演进的策略，主要分为两个阶段建设（如图1）。第一阶段实现对大数据中心所有后台任务的控制和运行，实现统一权限认证和控制，实现整个大数据中心运行统一管控。第二阶段在多租户模式下，各厂商共同参与的大数据开发环境

7、搭建及运维管理，为开发者和运维者提供各类服务能力。具体目标为实现以下6点：1.为山西移动大数据平台提供一个开放、标准的运营管控中心，满足对大数据平台作业任务的运营、调度、管理需求的支撑；2.有效控制大数据平台上运行的后台任务的标准化和规范化，不满足任务运行标准和管控要求的任务不会被平台执行，避免造成任务不可控对平台整体带来的影响，例如不对外吐闩志，不支持数据质量实时监控的任务不允许执行；3.实现集中化的日志存储管理，对应用程序任务日志输出给出明确的规范并集中管理，做到管理信息的集中化、可视化，为后续的运维分析提

8、供有力支撑；4.基于开放化、标准化的Oozie相应技术实现数据处理流程编排，在人数据平台不同组件上运行执行屮心，只接受运营管控屮心的执行指令，从而实现大数据平台后台任务的管控，同时兼容未来开源产品的不断发展和完善；5.对数据质量监控做到边处理边监控，提升大数据运营管控中心任务管控的及时性；6.做到应用任务从接入、运行到退出的端到端监控管理，实现可视化、可配置、可控制。二、资源多租户使用