数据预处理技术在电信经营分析系统中的研究

《数据预处理技术在电信经营分析系统中的研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、http://www.paper.edu.cn数据预处理技术在电信经营分析系统中的研究张扬北京邮电大学电信工程学院，北京(100876)E-mail:yondchang@163.com摘要：数据仓库及其分析技术的出现,为电信企业提供了高效的数据处理能力，满足了对海量数据的处理需求,为以后进行科学的决策分析提供了更好的支持,因而在电信经营分析系统中应用数据仓库技术成为一种趋势。本文提出了集成运营商多业务系统离散数据的方案，并制定了数据抽取的统一策略，基本解决了海量数据预处理时的低效高耗问题。关键词：预处理,抽取,数据仓库,经营分析1．引言某省电信运营商在企业信息化建设过程中，

2、建立不同的业务系统来满足管理需求。但这些系统往往因为市场需求、设计理念、建设时间、平台选择等因素的不一致性而导致系统间相互独立、信息分散等特点，从而形成信息孤岛。具体的问题表现在：（一）数据的问题目前的业务数据分布在多个不同系统，如：渠道系统、计费、大客户系统等，其它的数据分散在地市，系统不能直接提供。数据的集中度不够，形成了信息孤岛。由于没有一个系统能整合经营分析需要的全部信息，这为数据的访问和分析工作带来很大复杂度。从数据采集的周期来看，大部分为每月一次，采集的周期过长，无法满足经营分析对于实时性的要求，不能对瞬息万变的市场作出迅速的反应。（二）分析手段的问题目前系统提

3、供的分析手段严重不足，系统中所提供的分析手段大多是固定报表，只能完成标准的统计功能，有些报表甚至需要手工完成。系统不能让用户自定义报表，不能进行定制分析。基于上述状况，我们提出在省中心建立独立于业务系统，面向分析主题的[1]数据仓库，从各生产系统采集经营分析所需的数据，通过统计报表、即席查询、OLAP分析等技术手段实现业务分析和决策支持功能，使公司在信息的传递与反馈速度、信息的广度与深度、信息的统计与分析手段、信息的使用效率等方面有质的变化。1http://www.paper.edu.cn2.数据预处理方案2.1经营分析系统架构及数据流图和ETL过程我们先介绍某省经营分析系

4、统的架构，分析数据预处理的规则，然后提出数据审计和元数据管理方法。经营分析系统如图1所示：图1.经分三层结构图其数据流图如图2所示：图2.数据流向示意图2http://www.paper.edu.cn源系统的数据以标准接口文件（SIF）等方式，通过通讯服务传输至经营分析系统的临时工作区域（SA或ODS），再利用数据仓库系统强大的并行处理能力和分时隙工作原理，把缓冲区域经过清洗、格式化的数据加载至中央数据仓库。中央数据仓库按照企业整体的信息模型、尽可能以最小的业务单元来组织[2]并存储数据，3NF是最为常用和有效的方式。这样既能保证数据访问的灵活性，又可保证最少量的数据冗余。

5、在经营分析系统的实施过程中，对于某些主题的业务分析问题，可能会按照主题采用数据集市的方式对数据进行进一步的组织，MDDB（多维数据库）则是组织数据集市最为有效的方式。所以在数据仓库的基础之上根据分析需求会创建相应的从属的数据集市。根据某电信运营商的IT战略规划，未来某电信运营商的业务系统将集中为BSS、OSS和MSS三大系统，数据仓库的数据将来自于这些系统。由于业务系统的改造刚刚开始，因此现阶段经营分析系统的主要数据来源依然是目前分散的各个业务系统，如：97系统，计费帐务系统，营维一体综合系统，结算系统，智能网计费系统，客服系统等。在经营分析系统的实施过程中，必须对源数据进

6、行全面分析，包括如下内容：1.数据的业务范围及业务含义2.数据所在平台，包括系统平台和数据库平台3.数据结构4.数据更新周期5.数据更新方式6.数据量源数据分析完成之后，需要将源数据与数据仓库系统物理数据模型进行匹配，即源数据映射。这是设计和开发ETL的前提。系统每天或定期从各个业务系统中抽取详尽的业务数据，对源数据进行过滤以保持数据一致性及完整性，按分析的要求对数据进行汇总、聚合等处理，将[3]整合后的数据装载到信息管理平台中。这就是ETL过程。ETL(ExtractTransformLoad)子系统是建立数据仓库系统的重要组成部分，它将经营分析系统中所需的数据按数据仓库

7、建立的方法从业务系统进行采集，并根据各自的需求进行数据调整，数据迁移过程中需将原始数据进行抽取、清洗、合并和装载。在此过程中必须保证数据的完备性和数据的一致性。从功能上看，整个ETL包括三个部分数据抽取：从数据源系统抽取数据仓库系统需要的数据；3http://www.paper.edu.cn数据转换：将从数据源获取的数据转换按数据仓库要求的形式，对数据进行转换；数据加载：将数据装入数据仓库。ETL实现过程的流程图如图3所示：数据仓库业务系统数据源抽取转换加载数据集市其它数据源临时数据图3:ETL实现过程简单流程图2