资源描述:
《ETL工具对比参考文档》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、参考1:ETL厂商ReikingIBMinformationserver(datastage)informaticOnceDIbeeloadODI(oracledataintegrate基本架构支持运行平台windows/unix/Linuxwindows/unix/linuxwindows/unix/linuxwindowswindows/linuxwindows/linux数据访问模式支持绝大部分支持绝大部分支持绝大部分支持绝大部分支持绝大部分支持绝大部分支持有局限性,与oracle数据库耦合太深。数据抽取方式支持生成文件(落地)再导入;直接导入;消息协议直接导入
2、;导入方式,数据导入支持批量加载(SQLloader方式)、insert模式、行删除模式其中insert模式是插入到临时表,然后更新,需要手工写update语句,配置比较复杂,行删除模式这种方式不考虑,性能肯定会非常差。批量加载模式,是对方工程师推荐的测试方案,其性能应该是最快的.以下测试是基于批量加载模式直接导入;数据导入目的库有两种加载方式normal和bulk,即普通插入和批量加载。批量加载需要先将索引drop掉,在加载完成后重新创建,但是这种方式在对付大数据量时很慢,例如下文测试hisdeliver1个月的数据抽取,286万记录,需要4分47秒,比普通插入要慢
3、很多。下面的测试结果由informatic的工程师,其基于normal模式只支持落地方式直接导入直接导入也可以使用dblink(oracle->oracle),透明网关(sql->oracle))实时增量ETL支持递增字段实现,触发器模式,支持OracleCDCCDC,实现秒级别的增量CDC,实现秒级别的增量,另外付费购买触发器模式/递增字段实现触发器模式/递增字段实现触发器模式/递增字段实现/stream(cdc)性能单表hisdeliver抽取,记录数124810,耗时比较1分16秒17秒15秒3分42秒2分7秒19S单表hisdeliver抽取,记录数28599
4、99,耗时比较22分12秒6分12秒2分58秒30分钟以上未测试3分49S采集sqlserver数据;采集表zygd(记录数:597872)测试报错41秒16秒未测试3分17秒19S流程中是否支持并行加载支持支持支持不支持,只能手工同时发起多个流程来实现并行加载支持支持(流程中串行异步模式)并行加载性能client730279行5分钟1分14秒2分02秒14分33秒无法对并行流程进行更新的监控,只有整体运行完成时间,7分12秒2分13秒clientinfo739278行7分钟2分18秒1分50秒14分07秒1分29秒stockholder108378911分钟2分59
5、秒3分01秒14分50秒3分23秒hisdeliver124810行未加载48秒20秒4分31秒2分44秒异常处理 支持邮件通知支持邮件通知支持邮件通知不支持支持邮件通知支持邮件通知ETL管理权限管理支持支持支持支持 支持ETL工作流支持顺序、并行工作流、支持时间、事件触发支持顺序、并行工作流、支持时间、文件到达触发支持顺序、并行工作流、支持时间、事件、文件到达触发支持顺序工作流、支持时间触发支持顺序、并行工作流、支持时间。在工作流支持循环支持顺序、并行工作流、支持时间流程触发定时、事件只能定时(支持到天级别),比较弱定时(支持到分钟级别)、事件触发 定时、事件触发定
6、时、事件触发运行监控较弱较强较强较弱较弱有专门的WEB工具来展示ETL日志与报告详细,但是出错信息需要查bad数据文件很详细,能够看到所有的操作很详细,能够看到所有的操作不是很详细比较详细比较详细部署强,采用SOA架构,可以任意发布服务较强较强可以任意发布可以任意发布,按机器进行收费可以任意发布,按CPU进行收费流程调度可以按日定时调度;可以支持到秒可以按日定时调度;无法支持到秒可以按日定时调度;可以支持到秒可以按日定时可以按日定时调度;可以可以按日定时调度;可以支持到秒级别的轮询级别的轮询调度(实现实时采集);无法支持事件触发(例如清算完成)调度,必须编写调度程序,
7、通过API调用流程;支持变量模式,支持变量从某个表读取然后替换相应的变量,必须通过外部shell调用替换级别的轮询调度(实现实时采集);无法支持事件触发(例如清算完成)调度,必须编写调度程序,通过API调用流程;支持变量模式,无法支持变量从某个表读取然后替换相应的变量,必须通过外部shell调用替换级别的轮询调度(实现实时采集);无法支持事件触发(例如清算完成)调度,必须编写调度程序,通过API调用流程;支持变量模式,支持变量从某个表读取然后替换相应的变量,必须通过外部shell调用替换调度;可以支持到秒级别的轮询调度(实现实时采集);无法支持事件触