数据中心相关技术与应用(大数据相关)39.ppt

《数据中心相关技术与应用(大数据相关)39.ppt》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、数据中心相关技术与应用2013-12-02目录MPP数据库在数据中心的应用企业级数据中心定义数据中心中的大数据数据中心BI技术选型描述Hadoop在数据中心的应用数据中心ESB技术研究大数据技术与传统数据中心的集成传统的数据仓库的架构数据源抽取、转换、加载业务数据集市企业数据仓库ETL元数据前端分析展现工具查询工具、应用新一代数据中心定义企业数据中心是指建立在数据仓库与数据仓库之上的决策分析应用，应包括数据源、数据ETL、ODS数据库、数据仓库、数据集市、商务智能应用、数据管理等功能。数据中心应该具备常见数据的处理与管理能力，具备对结构化、半结构化、非结构化等数据的

2、处理能力，同时支持RDB、MPP、NoSQL，同时具备数据的通用管理能力，以数据为中心进行平台建设。数据中心数据平台在接口层要丰富又简单，可以提供各种应用所需接口，最大程度匹配已有接口，对应用改动需求力求最低。一个合理的数据平台，不能等同于Hadoop或者其他某项单一技术建设；整体数据中心的建设，从数据采集层、存储层、应用层都有完整的解决方案，同时具备平台运维管理、接口管理、数据管理功能；数据中心数据管理能力至少应包含：1.元数据管理，2.数据质量管理，3.数据安全管理，4.数据可视化管理，5.数据生命周期管理。数据平台必须针对数据提供完整方案，同时兼顾应用接口、其

3、他平台接入，系统管理、系统调度等功能。任何一种单一技术都难以适应数据中心数据采集、存储、处理和对外服务的需求，多种技术并存才是发展趋势。RDB、MPP、Hadoop采集处理层数据抽取/加载/检查ETL调度数据交互、转换数据映射数据层数据存储数据聚合服务数据处理服务数据查询服务事件通知服务信息子层KPI报表统一视图知识库接口层服务管理资料类数据服务指标类数据服务配置类数据服务清单累数据服务日志类数据服务OPENAPI数据管理功能数据生命周期管理数据可视化管理数据质量管理采集层数据质量管理数据质量规则、知识库数据质量稽核指标运维数据安全管理4A认证隐私信息保护权限管控、

4、审计追踪元数据管理元数据获取管理元数据存储与模型管理元数据分析、展现、服务技术、业务元数据管理ODW-RDBODW-MPP分布式文件系统分布式关系数据库分布式计算数据分发同步处理用户管理权限管理备份与恢复日志管理设备监控指标资源池指标数据库指标分布式系统指标指标汇总存储管理资源池管理设备管理作业调度管理事件自动化规则配置执行引擎性能预警调度异常控制北向接口管理数据采集接口管理数据共享配置通用接口配置平台管理功能数据服务功能综合分析系统A+ABIS应用无线网优综合监控系统信令监测系统日志上层应用其他应用新一代数据中心功能视图数据中心整体功能视图可以分为数据服务功能模块

5、、平台管理功能模块，数据管理功能模块，共同数据中心的应用。采集处理层数据抽取/加载/检查ETL调度数据交互、转换数据映射数据层数据存储数据聚合服务数据处理服务数据查询服务数据集市、OLAP接口层服务管理资料类数据服务指标类数据服务配置类数据服务清单累数据服务日志类数据服务OPENAPI数据管理功能数据生命周期管理数据可视化管理数据质量管理采集层数据质量管理数据质量规则、知识库数据质量稽核指标运维数据安全管理4A认证隐私信息保护权限管控、审计追踪元数据管理元数据获取管理元数据存储与模型管理元数据分析、展现、服务技术、业务元数据管理DW-RDBDW-MPP分布式文件系统

6、非关系数据库分布式计算数据分发同步处理数据服务功能用户管理权限管理备份与恢复日志管理设备监控指标资源池指标数据库指标分布式系统指标指标汇总存储管理资源池管理设备管理作业调度管理事件自动化规则配置执行引擎性能预警调度异常控制北向接口管理数据采集接口管理数据共享配置通用接口配置平台管理功能应用展示层企业数据中心元数据获取采集层数据质量定义、稽核存储库模型定义采集数据分发目录MPP数据库在数据中心的应用企业级数据中心定义数据中心中的大数据数据中心BI技术选型描述Hadoop在数据中心的应用数据中心ESB技术研究大数据技术与传统数据中心的集成数据中心引入大数据的意义与原则随

7、着半结构化、非结构化数据、互联网数据等新型数据源的引入以及分析需求对分析深度和广度的增加，以移动运营商行业为例，越来越需要大数据。主要包括如下：1、数据规模方面：GPRS流量话单的条数和数据量已经超过了语音详单，而位置信令、Gn信令、客服语音、互联网外部数据等规模更大，且还处在不断增长的趋势。2、数据类型方面：逐步从OLTP系统中获得的结构化数据，过渡到结构化数据和互联网网页、上网日志等非结构化数据和半结构化数据共存。3、对数据的使用方面：不仅有批量的数据加工和前台界面的访问，临时统计、数据挖掘等访问需求也逐步增多。对历史明细数据的访问增多。对数据访问的及时性增