基于KETTLE的数据集成研究-论文.pdf

《基于KETTLE的数据集成研究-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、计算机技术与发展Vol

2、25No．4第25卷第4期2015年4月COMPUTERTECHN0LOGYANDDEVELOPMENTApr．2015基于KETTLE的数据集成研究崔有文，周金海(南京中医药大学信息技术学院，江苏南京210023)摘要：为了实现对企业业务系统基础数据按需地高性能集成，优化数据质量，对数据进行抽取、转换、加载，形成分析型数据。根据数据的异构性、半结构以及非结构性等特点，基于KETYLE构建ETL过程模型，从多数据源抽取、增量数据捕获等方面分析了ETL关键技术，制定了面向中药企业的数据集成解决方案。利用KETFLE的ETL数据处理技术，快速、高效地实现数据集成，为企业

3、的商业智能分析奠定了数据基础，提升企业决策水平。关键词：数据集成；数据抽取；转换和加载；KETTLE；数据仓库中图分类号：TP391文献标识码：A文章编号：1673—629X(2015)04—0153-05doi：10．3969／j．issn．1673—629X．2015．04．035ResearchonDataIntegrationBasedonKETTLECUIYou-wen，ZHOUJin-hai(InstituteofInformationTechnology，NanjingUniversityofChineseMedicine，Nanjing210023，China)Abstra

4、ct：Inordertointegratethebasedataofenterprisefrequentlywithhighperformanceandoptimizethedataquality，extract，trans’formandloadthedatatoformtheanalyticaldata．Accordingtothecharacteristicsoftheheterogeneous，semi—structuredandtin—struc。tureddata．theETLmodelisbuiltbasedonKETTLEandseveralETLkeytechnologi

5、esareanalyzedfrommultiplesourcedataextractionandtheincrementaldatacapture，developeddataintegrationsolutionforChinesemedicineenterprise．AdoptingETLdataprocessingtech-nologyofKETFLEwillrealizethedataintegrationquicklyandefficiently，layingthefoundationforbusinessintelligenceanalysisandim—provingdecis

6、ionlevelofenterprise．Keywords：dataintegration；dataextraction；transformation—loading；KETILE；datawarehouseO引言问题]。数据集成领域中的ETL有其自身的一些特随着信息技术和数据库技术的应用与发展以及企点，例如，异构数据源之间的数据差异性大，不仅存在业管理的需要，人们尝试着对数据库中的数据进行再结构化数据，而且可能存在大量半结构数据和无结构加工，从而形成一个集成的，面向分析处理的环境，以数据；异构数据的ETL操作要求数据在抽取和加载的便能够从这些海量的信息中挖掘规律，提取知识。过程中进行远程

7、传输；数据仓库中一般只进行数据的对于企业，其在生产、采购、销售等业务活动中，需要进增加，而数据集成应用可能还涉及到数据的修改与删行大量数据的汇总与分发，而这些基础数据常常独立除。根据以上特点，文中基于KETTLE构建了ETL存储于不同的数据源，如何将已有的“信息孤岛”连通过程模型，分析了ETL数据集成的关键技术，并依据起来，实现信息的集成与共享，是企业当前需要解决的中药企业数据制定了面向中药企业的数据集成解决一个关键问题。方案。ETL是实现异构数据集成的有效方法，根据国内外众多实践得到的共识，ETL规则设计和实施所需工1KETTLEETL作量约占整个项目的60％一80％，如何设计正确、高1

8、．1ETL过程模型效的ETL过程已经成为数据集成构建过程中的重要ETL是数据抽取、转换和加载(Extraction，Transfor-收稿日期：2014—05—26修回日期：2014—08-28网络出版时间：2015—02—23基金项目：江苏省科技支撑计划项目(BE2011012)作者简介：崔有文(1990一)，男，硕士生，研究方向为医药信息工程；周金海，教授，硕士生导师，通讯作者，研究方向为医药信息工程、人工智能。网络