大数据集成etl工具地设计与构建

大数据集成etl工具地设计与构建

ID:28874265

大小:323.00 KB

页数:6页

时间:2018-12-14

大数据集成etl工具地设计与构建_第1页
大数据集成etl工具地设计与构建_第2页
大数据集成etl工具地设计与构建_第3页
大数据集成etl工具地设计与构建_第4页
大数据集成etl工具地设计与构建_第5页
资源描述:

《大数据集成etl工具地设计与构建》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库

1、实用标准文案数据集成(ETL)工具的设计与构建陈小菲经过几十年来快速不断的IT创新造就了大批综合性的、分布式的且不断变化的应用系统,这些系统跨越了从大型机到Web的多种平台,因此不同系统的互连成了亟待解决的问题。如何发挥这些系统中各种数据的作用,将不同应用系统的数据进行提炼、整合,并充分利用已有的技术及应用资源,建成一个完整的、可持续发展的集成系统,数据集成工具成为一种重要的技术,面对多种技术环境开发的基础业务系统,把业务数据迁移到综合业务系统和决策分析系统,并进行有效整合。数据集成工具主要包括以下几个过程:抽取、清洗、转换和加载等,本文中数据集成工具简称为ETL工具。在实际项

2、目中,本ETL工具已开始实现研发和试用,本文将对ETL工具的设计思想与功能实现等内容进行讨论。一、ETL工具的功能目标本ETL工具以各种技术环境开发的基础业务系统为基础,把业务数据迁移到综合业务系统和决策分析系统,并进行有效整合,建成一个完整的集成数据库系统,因此在企业应用集成(EAI)系统中,ETL工具扮演着相当关键的角色,以下是EAI数据集成模型图,箭头表示的数据迁移过程需要通过ETL工具实现。图1数据集成模型1、主要功能ETL工具主要功能可分为两部分:数据集成配置和数据集成服务,具体如下:(1)数据集成配置:精彩文档实用标准文案提供一个GUI界面,使得用户能够通过界面的互

3、动,比较容易地实现数据集成的流程、规则的定义;同时提供相应的解析功能,实现将配置规则进行解析,并对数据进行集成。最后能够定义并执行相应的抽取计划。(2)数据集成服务:提供相应的解析功能,实现对集成规则的解析,服务读取这些规则,生成集成任务,在后台进行运行数据集成。并且把这些集成信息发布出来,可以让其它集成工具进行信息共享。2、特点(1)易用性:数据集成工具进行抽取任务配置时,比较繁锁,而本ETL工具在进行抽取任务配置时可以做到简单易学,易用;同时配置操作也流程化,易于理解。(2)稳定性:本ETL工具进行任务执行,保证抽取任务的正常进行。运行稳定,不轻易发生系统错误,不轻易发生程

4、序死机。(3)可靠性:本ETL工具进行任务抽取时,能可靠地完成抽取,源数据到目标数据的抽取误差低于0.01%,对于因特殊情况无法进行抽取的,或中途停止无法抽取的系统将记录详细信息。(4)执行效率:本ETL工具对大数据量进行数据抽取,可以保证对大数据量的抽取在正常情况下能较好地执行,在一定时间内完成对大数据量的抽取。二、ETL工具的总体架构设计图2ETL工具总体架构如图2所示,ETL工具主要包括配置工具和抽取服务两个部分内容。精彩文档实用标准文案1、配置工具配置工具的开发工具选择E++。其主要实现以下功能:●数据集成工具的抽取任务规则配置将提供一个GUI界面的配置工具,实现对抽取

5、任务的配置。用户可以通过界面的互动,比较容易实现数据集成工具抽取规则的配置。●抽取任务规则解析对配置后的抽取规则进行解析,服务读取这些规则,生成抽取任务。根据以下流程进行主要的设计工作:●数据集成(抽取):提供GUI界面由用户录入源数据源、目的数据源、抽取规则。●数据源定义:实现数据源信息的录入,并对数据源进行连接测试。●抽取方案定义:配置数据抽取的信息及规则。●抽取任务定义:在数据抽取方案定义完成后,定义数据抽取方案的执行规则。抽取执行定义为“执行任务”,每个“执行任务”包含有一个或者多个抽取方案及子任务。每个“执行任务”具有相同的执行规则,方案执行也具有一定的顺序。●资源共

6、享:解决异地抽取的问题,对某些表的结构进行共享。2、抽取服务抽取服务的开发工具选择JAVA。主要实现以下功能:●抽取服务抽取服务读取抽取配置规则将包含:库到库、表到表、多表到单表、文件到表、表到文件的各种规则抽取。根据抽取规则执行抽取任务,实现数据抽取。l抽取信息进行数据共享集成工具将对配置好的抽取信息进行发布,让其它的集成工具进行共享。并要对集成工具实现抽取的数据进行互通。根据以下流程进行主要的设计工作:●系统参数定义系统参数在“系统配置参数表”中定义,包括参数名、参数值及说明等。数据集成工具系统参数定义,如表1:精彩文档实用标准文案表1 参数定义表参数名参数值注释BD_BA

7、TCH_COUNT1000数据集成工具数据每批数据大小MAX_LINE_PER_PAGE10每页显示最大的行数MAX_RESULTSET_COUNT500查询时返回的最大行数●系统配置接口引擎数据集成工具的配置工具为C++开发的,同时又要做到数据集成工具可以支持多种平台。所以数据集成工具服务端和配置工具将可能分布在两台机子上,数据集成工具的配置文件又必须和服务端一起部署,配置工具对抽取配置文件的读、写就调用系统的配置接口引擎进行操作。●系统初始化在数据集成工具服务器启动时,必须事先进行初始化

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。