商业智能系列讲座(5) - etl

《商业智能系列讲座(5) - etl》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、商务智能商务智能BusinessIntelligenceBusinessIntelligence第五课：第五课：ETLETL数据的抽取，转换与加载数据的抽取，转换与加载（部分讲义内容）（部分讲义内容）商务智能（BI）杨大川1什么是什么是ETLETLETLETL解决方案包括解决方案包括––数据抽取（数据抽取（ExtractionExtraction））––数据传输、转换与清洗（数据传输、转换与清洗（TransformationTransformation））––数据加载、调度（数据加载、调度（LoadingLoading））ETLETL系统将贯穿整个商务智能系统的全过系统

2、将贯穿整个商务智能系统的全过程，从源数据系统到前端展示系统的整个程，从源数据系统到前端展示系统的整个商务智能系统各个组件之间，都存在商务智能系统各个组件之间，都存在ETLETL过过程。程。商务智能（BI）杨大川2ETLETL：数据的提取与转换：数据的提取与转换转换更正buyer_namereg_idtotal_salesbuyer_namereg_idtotal_salesBarr,AdamII17.60Barr,Adam217.60Chai,SeanIV52.80Chai,Sean452.80O’Melia,ErinVI8.82O’Melia,Erin68.82...

3、...............合并buyer_firstbuyer_lastreg_idtotal_salesbuyer_namereg_idtotal_salesAdamBarr217.60Barr,Adam217.60SeanChai452.80Chai,Sean452.80ErinO’Melia68.82O’Melia,Erin68.82.....................计算buyer_nameprice_idqty_idbuyer_nameprice_idqty_idtotal_salesBarr,Adam.5532Barr,Adam.553217.60

4、Chai,Sean1.1048Chai,Sean1.104852.80O’Melia,Erin.989O’Melia,Erin.9898.82商务智能（...BI）......杨大川............3ETLETL工具工具专业厂商专业厂商整体方案提供商整体方案提供商InformaticaInformaticaOracleOracle–PowerCenter–WarehouseBuilderAscentialAscentialIBMIBM–DataStage–WarehouseManagerSagentSagentMicrosoftMicrosoft–Solutio

5、n–SQL2000DTS商务智能（BI）杨大川4DTSDTS应用程序应用程序导入导入//导出向导导出向导–建立DTS包(应用程序)把OLEDB数据源中的数据从一点移动到另一点设计器设计器–图形化的设计工具–建立/编辑DTS包DTSRunDTSRun–命令行工具DTSRunUIDTSRunUI–图形化执行工具SQLAgentSQLAgent–使用它来做计划执行商务智能（BI）杨大川5商务智能（BI）杨大川6数据泵（数据泵（DatapumpDatapump）结构）结构SourceXFormsDestinationActiveXScriptOLEDBOLEDBCopyODBC

6、ODBCTrimStringFixedFieldFixedField…ASCIIDelimitedASCIIDelimitedCustomRepl.PublicationDTSDataPumpInOut商务智能（BI）杨大川7YukonDTSYukonDTS的性能的性能目前目前MSNMSN已经正在使用已经正在使用–RunningtodayonMStechnology–Single8-wayNTmachine–AggregationenginenowinDTS性能（日处理量）性能（日处理量）–1500logs2TBparsedremotely–1500+binaryfil

7、es–1billion+records,70+Gb–Filter,6lookups,200+aggs–LoadETLresultsintoSQL商务智能（BI）杨大川8