电信数据仓库设计

《电信数据仓库设计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、陕西电信综合数据仓库平台总体设计方案议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论总体架构EDWODS数据总线ADB使用人员CIF语义层综合统计分析平台EDACIFCRM计费业务及管理系统。。。数据总线业务操作数据客户资料业务运营数据业务运营数据统一经营数据共享统一经营数据共享’业务分析结果统计分析数据源统计分析数据源统计分析数据源统计分析数据源决策信息业务查询结果业务分析结果业务操作数据客户资料业务运营数据业务运营数据业务运营数据业务分析结果业务分析结果整体目标打破信息孤岛，实现数据共享，

2、构建企业数据全集综合统计分析平台的数据支撑，建立从数据转换为价值的体系，让数据发挥出企业核心资源的效用，实现数据的增值，彻底改善IT对于业务的支撑能力，尤其是对分析决策的支持能力提供统一的数据支撑和标准规范的对外接口统一数据管理，保证数据准确和可追踪管理，支持内控，构建企业统一的数据管理平台系统定位按照陕西电信规划模型，整合各业务系统的数据，实现企业范围的数据统一视图通过技术和管理手段，实现面向经营分析决策的企业级统一共享的数据管理平台通过对数据的组织加工，实现从数据到信息的转变；提供对综合统计分析平台和其它系统的数

3、据支撑综合数据仓库平台（EDW）定位：打破信息孤岛，实现数据共享。数据支撑与价值提升。构建企业级数据管理平台。EDAEDW建设范围数据范围：企业级数据整合和组织，以支撑综合统计分析平台中各主题分析、分析查询、报表统计等和其它系统的数据需求。功能范围：数据组织管理、ETL管理、元数据管理、数据质量管理、数据整合等。与综合统计分析平台-分工界面Universe综合统计分析平台细节数据层汇总数据层应用集市层数据管理综合数据仓库平台数据整合Cube企业仪表盘即席查询企业报表预警预测OLAP分析业务应用业务分析分工界面临时区议

4、程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论功能架构数据处理数据管理数据获取数据提供数据整合文件完整性检验接口文件管理接口文件异常处理数据获取清洗转换合并细节数据生成汇总数据生成数据异常处理集市数据生成ETL调度和监控数据备份数据检验数据提供数据模型管理元数据管理数据质量管理安全性管理系统监控系统备份和恢复逻辑架构综合结算系统统一客户资料智能网计费帐务系统10000号手工录入数据数据源财务系统综合受理预处理抽取清洁转换装载ETL-1细节数据层汇总数据层临时区错误数据数据仓库接口数据采集接口文件格

5、式管理ETL规则管理商业元数据管理数据仓库元数据管理报表元数据管理系统监测/告警安全管理日志管理接口管理元数据管理系统管理统计报表立方体数据生成抽取转换汇总装载ETL-2格式检查和转换应用集市层综合统计分析平台XX系统外部数据数据获取细节数据层CRM、计费帐务、结算、10000号、财务等系统数据文件临时存放区通知重传读取数据格式转换数据获取临时区错误数据ETL-1细节数据层汇总数据层ETL-2数据提供模块数据仓库连接控制数据整合元数据系统管理ETL-1抽取规则ETL-2抽取规则ETL-1日志ETL-2日志数据仓库元数

6、据商业元数据ETL-1/2/3规则管理ETL-1/2/3日志管理商业元数据管理数据仓库元数据查看ETL-1/2/3过程监控数据仓库数据访问日志管理数据仓库数据更新调度管理数据整合临时区应用集市层ETL-3ETL-3抽取规则ETL-3日志ETL-3抽取数据元数据系统管理根据转换规则转换数据确定数据格式按既定方式提供数据EDW网络传送地址及安全数据数据传送日志数据抽取、转换规则传送目录及格式抽取、转换规则管理传送格式管理传送日志管理传送目录及安全管理提供的数据数据提供数据提供议程概述功能架构数据架构ETL架构集成架构安全

7、架构平台架构实施方法论数据分层设计业务需求的满足从上到下是分析逐步深入、数据需求细化的过程数据处理的过程从下到上是粒度加粗、更加面向应用的过程数据分层是根据数据处理、需求满足过程的特点，并考虑系统效率、数据稳定性而设计的。细节数据层（按企业模型整合的当前细节数据）汇总数据层（轻度汇总数据）应用集市层（高度汇总数据）临时区（原始细节数据）业务业务数据数据业务需求满足的过程数据处理的过程临时区以表的形式存放生产系统传送过来的数据生产系统包括：统一客户资料、综合受理、计费帐务、综合结算、10000号、财务、IN等用于进行数

8、据整合的过程处理和异常处理原则：采用同生产系统相同的表结构去掉与分析无关的属性字段增加时间属性字段细节数据层的主题域资源产品客户市场营销帐务企业事件供应商/合作伙伴服务通用实体ER概念模型总图资源市场营销产品事件服务帐务客户企业供应商/合作伙伴企业发起市场营销客户接受市场营销企业提供产品客户购买产品客户发起/经历事件营销类事件产品付费关系客户指