资源描述：
《杭州电信数据仓库设计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、浙江理工大学学报,第25卷,第6期,2008年11月JournalofZhejiangSciTechUniversityVol.25,No.6,Nov.2008文章编号:16733851(2008)06070405杭州电信数据仓库设计12张栋,贾宇波(1.浙江大学计算机学院,杭州310027;2.浙江理工大学信息电子学院,杭州310018)摘要:研究数据仓库技术在杭州电信数据仓库系统建设中的应用,对系统需求、总体结构、数据库设计等方面进行系统的全面的阐述,提出了利用数据库日志分析实现快速数据复制同步的解决方案,
2、并利用模块化PLSQL存储过程编程设计多维数据分析模型,为统计分析和决策支持提供数据基础。关键词:电信;数据仓库;架构设计中图分类号:TP311.13文献标识码:A0引言随着市场竞争的日益激烈,数据仓库越来越成为分析商务方向和提高企业竞争力的重要方法。越来越多的企业开始或已经实施数据仓库计划,它逐渐成为现代企业必备的IT系统。杭州电信作为一家大型电信运营商,拥有数以百万的用户和固定电话、小灵通、宽带和各种数据增值业务,其支撑系统包括BSS、OSS和MSS等大型数据库。有急迫的市场需求作导向、丰富的数据资源作基础、完
3、善的运维体系作保障,建立适[1]应电信自身发展需要的数据仓库,通过各种主题分析,为市场决策提供快速、准确、丰富的数据支撑。本文描述了杭州电信数据仓库系统的结构设计、模型设计、应用设计等各个方面。在设计过程中对如何抽取原始数据和如何转换原始数据两个关键问题进行重点阐述,给出具体的设计思路和解决方案。1数据仓库基本理论数据仓库(datawarehouse)是一个面向主题的、集成的、稳定的、包含历史数据的数据集合,它用于支持[2]经营管理中的决策制定过程。所谓主题,是指用户使用数据仓库进行决策时所关心的重点方面。数据仓库内的信息是
4、按主题进行组织的,而不是象业务支撑系统那样是按照业务功能进行组织的。所谓集成,是指数据仓库中的信息不是从各个业务系统中简单抽取出来的,而是经过一系列加工、整理和汇总的过程,因此数据仓库中的信息是关于整个企业的一致的全局信息。所谓随时间变化,是指数据仓库内的信息并不只是反映企业当前的状态,而是记录了从过去某一时点到当前各个阶段的信息。通过这些信息,可以对企业的发展历程和未来趋势作出定量分析和预测。因此,不能将数据仓库看作仅仅是一个大型的数据存储机制,它更是一个动态的过程,这个过程涉及数据的收集、整理和加工,生成决策所需要的信息,
5、并且最终把这些信息提[3]供给需要这些信息的使用者,供他们作出改善业务经营的正确决策。2需求概述杭州电信数据仓库系统是一个完整的数据仓库应用系统,包含数据仓库系统的数据抽取转换、OLAP分析和数据展现等方面应用。目前可供数据挖掘和业务分析的源数据有电信用户资料、资源数据和帐务信息收稿日期:2008-04-25作者简介:张栋(1980-),男,安徽灵壁人,工程师,主要从事数据仓库、数据挖掘方面的研究。第6期张栋等:杭州电信数据仓库设计705等关键数据。它们都分散存放在营业系统、资源管理系统和计费帐务系统等独立的数据库中,
6、并且随着业务的发展而实时变化更新。如何将这些数据快速抽取到数据仓库,实现数据实时同步,并将庞大的原始数据转换成满足业务分析和WEB展现的格式化维表数据,是数据仓库设计过程中的关键问题。这里结合ORACLE数据库日志分析和PL/SQL程序设计技术,通过分析数据库日志内容来捕捉变化的事务操作信息,实现数据快速复制和实时同步;通过存储过程代码实现数据格式转换和多维聚组,经过整理的数据保存在相应维表中,以供分析查询和前台展现。3总体设计总体设计主要包括总体的逻辑架构和数据处理模块结构设计等。3.1总体逻辑架构采集程序模块将各个子
7、系统的源数据经过迁移、抽取、转换等操作采集到数据仓库中,这部分功能是通过多组程序来实现的,通过它们可以将源数据转换成符合数据仓库模型的目标数据;数据采集上来后,通过客户端的展现/分析模块对数据仓库中的数据进行展现/分析,最终用户使用这部分功能,对数据进行分析,得到用户期望的分析结果;辅助设置程序用来给数据仓库中的指标表、时间表等信息进行维护。3.2数据展现/OLAP模块结构设计客户端通常是WebBrowser,以HTML的格式将请求发至Web服务器。Web服务器接收到客户端的请求后,通过其CGI或ISAPI接口将请求发至中间
8、层服务器。中间层服务器封装了应用的商业逻辑,产生用户分析/查询所需的SQL语句,再通过ODBC接口将SQL语句发到数据仓库或数据库服务器,就可以得出分析/查询的结果。结果返回到瘦客户端,由此就可以完成一次分析/查询。3.3数据采集/迁移模块结构设计元数据管理工具得到源数据库
