etl技术在交通信息资源整合工程中的应用研究

《etl技术在交通信息资源整合工程中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、一瞻r州l^^r产ETL技术在交通信息资源整合下程中的应用研究摘要数据ETL(Extraction．Transformation．Loading)主要用来实现异构多数据源的数据集成，是数据仓库、数据挖掘以及商业智能等技术的基石。ETL具有数据抽取、数据传输、数据转换和数据装载功能，是数据整合的基础。基于这些抽取方式和抽取工具，就需要对各种抽取的优缺点进行分析，虽然ETL工具在一定程度上可实现数据的集中抽取，表面上看起来和数据复制软件有些类似。但是该软件的定位和重点和其他类技术完全不同的。本文主要依据ETL技术，结合

2、黑龙江省交通资源整合项目的业务需求，针对厂商所提供的ETL产品进行了深入的研究。利用厂商ETL产品完成了公路建设、管理、养护、征稽和道路运输管理等交通业务系统的整合工作，构建了数据交换与整合系统功能、数据中心资源库、数据中心资源库管理等功能模块，满足了交通部资源整合推广工程对黑龙江省数据要求。本文通过阅读大量文献，总结出ETL技术的主要功能，并利用ETL技术运用到我省交通信息资源整合工程中，通过数据交换和整合系统，制定数据交换任务，实现业务数据的采集、接收、抽取、传输、路由、转换等功能，最终将数据加载到整合资源库中

3、，并针对各数据主题，实现资源整合库的目录管理。通过ETL过程为数据流动提供了可靠的方法，促使异构数据源流向同构目标数据转变。设计了数据的抽取、数据的清洗、数据的转换和数据的加载过程。通过本文的研究，可以真正为我省交通信息资源整合工程建设数据中心提供理论依据，并具有一定的可操作性。关键词：ETL；交通系统；资源整合；数据中心；交换任务月幔一《lJ^，I司^，产ETL技术在交通信息资源整合工稗中的应用研究AbstractDataETL(Extraction-Transformation·Loading)ismainly

4、usedtorealizeheterogeneousdataintegrationofmultipledatasourcesisadatawarehouse，dataminingandbusinessintelligencetechnologiessuchasthecornerstone．ETLwithdataextraction，datatransmission，dataconversionanddataloadingfunctions，isthebasisfordatamining．Basedontheseex

5、tractionmethodsandextractiontools，weneedtoanalyzetheadvantagesanddisadvantagesofvariousextraction，althoughtheETLtooltoacertainextentcanbecentralizeddataextraction，datareplicationonthesurfacelookssomewhatsimilartothesoftware．However，thepositioningandfocusofthes

6、oftware，andothertypesoftechnologyiscompletelydifferent．Inthispaper，basedonETLtechnology，combinedwithintegrationoftransportationresourcesinHeilongiiangProvince，theprojectbusinessrequirementsforETLproductsofferedbyvendorsconductedin—depthstudy．TheuseofETLproduct

7、smanufacturercompletedaroadconstruction，management，conservation，ZhengJiandroadtransportmanagement，transportbusinesssystemsintegrationeffortstobuildadataexchangeandintegrationofsystems，datacenterresourcelibrary，datacenterresourcelibrarymanagementfunctionmodules

8、tomeettheintegrationofresourcesoftheMinistryofCommunicationstopromoteprojectsonthedatarequirementsofHeilongjiangProvince．ThisArticlesummarizethemainfunctionsofETLtechnologybyalotof