在线数据整合技术的研究与设计

《在线数据整合技术的研究与设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERDISSERTATION论文题目：在线数据整合技术的研究与设计学科专业：计算机应用技术指导教师：唐雪飞副教授作者姓名：唐桥班级学号：200820603019万方数据摘要分类号密级注1UDC学位论文在线数据整合技术的研究与设计唐桥指导教师唐雪飞副教授_电子科技大学成都申请学位级别硕士专业名称计算机应用技术论文提交日期2011年10月论文答辩日期2011年12月学位授予单位和日期电子科技大学答辩委员会主席评阅人年月日II万方数据独创

2、性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：年月日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行

3、检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名：导师签名：日期：年月日万方数据万方数据摘要摘要随着信息化技术的快速发展，Internet已逐渐成为了人们生活、学习和工作的重要部分。伴随着企业的成长，各部门积累的常用数据信息也将随之越来越多，但由于过去遗留的大多数系统在设计时未充分考虑各系统间数据的共享和交换，各系统彼此独立，数据表设计不尽相同，数据的不一致导致一个个“信息孤岛”形成。今天，面对日益激烈的竞争，企业信息和数据的集成交换需求越来越频繁，因此这些系统已经无法满足现在的需要。因而，企业强烈希望构建

4、数据仓库，以达到数据信息的共享和提供决策支持。ETL(Extract，Transformation，Loading，抽取、转换、加载)工具正是数据集成建立数据仓库的可选方案之一。本文基于B/S结构，对ETL系统的架构、技术和在ETL过程中相当重要的数据抽取、数据转换和数据加载以及数据清洗等相关问题进行了详细分析和设计。然后使用JAVA语言、JavaScript、ExtJS、JDBC数据访问接口和XML技术，并结合RBAC思想设计了跨平台运行、支持增量同步更新、具有友好操作界面、可与其他web服务无缝集成的ComsysETL系统模型和实现方案。关键词：数据集成，

5、ETL，数据转换，RBACI万方数据ABSTRACTABSTRACTWiththerapiddevelopmentofinformationtechnology,Internethasbecomeanimportantpartinourlife,studyandwork.Alongwithbusinessgrowth,accumulateddataofthesectorswillsubsequentlybecomemoreandmore.Butthesystemsareindendentofeachotherandthedesignsoftheirdatata

6、blearenotthesame,whichleadstoformationofaninformationislandbyoneself.Theydoesnottakeintoaccountthesharingandexchangeofdata,thereforemostoftheheterogeneouslegacysystemsareincompetenttomeettheserequirementsthatmoreandmorecompaniesandenterprisesrequiredataintegrationanddataexchangenow.

7、Therefore,theenterpriseimminentlyneedsetupdatawarehousethroughdateintegrationplatformtoshareinformationandsupportdecision.ETLtoolfordataintegrationisasolutiontotheestablishmentofdatawarehouse.BasedonB/Sarchitecture,thisarticleanalyzsETLsystemandETLsolutionoftheplatformfoundationfram

8、e，includingtheETLto