开题报告oncedi中监视系统的设计与实现

《开题报告oncedi中监视系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、OnceDI中监视系统的设计与实现报告人：吴辉导师：口十丹高级工程师2011-1-18内容提纲■选题依据及意义■国内外研究现状■研究内容与研究方案■工作进展与工作计划I选题根据及意义(1)■数据集成□数据集成是将不同来源与格式的数据逻辑上或物理上进行集成的过程⑴。■ETL(Extract,Transform,Load)□ETL完成跨数据源的数据抽取，并将数据经过一定的转换，最终加载到目的端数据源，是数据集成系统的重要组成部分。选题根据及意义（2）数据集成中间件OnceDIExtractDIServe

2、r分布式体糸结构分布式体糸结构分布式ETL过分布式ETL过从全局了解糸统情况统计分析评估糸统性能、辅助決策Internet*DIServerCont®Center了鮮整个ETL过程的调度执行情况和数据迁移——国内外研究现状(1)■ETLMonitoring!2]□ETL过程相关指标执行状态、执行时间、抽取速率、加载速率、吞吐率等“Youwillwanttomonitorjobstatusforalljobrunsinitiatedbythejobschedulerincludingpending,r

3、unning,completed,andsuspendedjobs…”□系统基础设施性能指标CPU使用、内存使用、磁盘读写速率、网络传输速率等□数据统计“Usersoftenwanttoknowexactlywhenatablehasbeenloadedorifanyrowswererejected...Mcapturingthehistoricaldatatosupporttrendingperformsneeovertime.“"BesuretotriggeralertswheneveranET

4、Ljobtakessignificantlymoreorlesstimetocompletethanindicatedbythehistoricalrecord.^^[2]RalphKimball,Joe(^aserta.TheDataWarehouseETLToolkit,PracticalTechniquesforExtracting,Cleaning,Conforming,andDeliveringData.Wiley,2004国内外研究现状(2)■主流ETL工具的监控功能□ETL中间件Inf

5、ormaticaPowerCenter,Talend,IBMDataStage□数据库附带ETL工具MicrosoftSQLServerIntegrationService,OracleDataIntegrator□不足：统计分析功能简单，大多没有提供监视ETL过程执行进度的功能。■其它□低干扰(Lowintrusion)——可酉F!置监视糸统的体糸结构Studio►OnceDI控制Mon计orClient＞监视信息流流OnceDI数据流Relationall)BMAgenlDIServerCont

6、rolCenterAAA齐rrtXML研究内容和研究方法(2)Client,cfg监视糸统的体糸结构MCenter.cfgDataCashClientInterfaceMonitorCenterP将AlarmIoddIAgentRegisteJDispatcherSession1.监视信息的收集和传输2.监视信息的组织和存储3.监视信息的统计、分析和展示1.监视信息的收集和传输目的：通过收集各种监视指标来反映糸统的行为和状态1.ETLindicatorsMetadatanameauthorETL过程

7、的执行进度二拆干祁e二二二2.ProgressStart/EndtimePerformance&resultswriteDuration•T3：开始连接数据源；Extracted/load^dTotals连援数据r^c威s^ingrate•T5：开始抽取数据；SWesig/MiIfed03WS条；Read/ProcessedrowsDetailsErrorstargetInfrastructureindicators•T8：关闭数据源；•T9：关闭数据源成功;•T10：开始发送数据；throughp

8、uTMetadataofserverCPUnumberandtypeMemorysizeDisksizePerformanceCPUusageMemoryusageVirtualmemorysizePagefaultDiskread/writerateDistributedsystem二HeartBeat■由MAgent负责收集和过滤■传输□元数据数据量比较小，而且不需要经常更新，又有可靠性要求■方案：采用Pull的方式，使用TCP协议□性能、心跳和进度■数据量比较大