ETL流程、数据流图及ETL过程解决方案.pdf

《ETL流程、数据流图及ETL过程解决方案.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、关于关于ETLETL相关问题的解决办法相关问题的解决办法目录◇ETL定义◇◇模式及比较模式及比较◇◇ETLETL过程过程◇◇问题分析问题分析◇◇现状分析现状分析ETL定义ETL定义涉及以下内容：–ETL定义–ETL前提–ETL原则ETL定义定义：–数据的抽取(Extract)、转换(Transform)、装载(Load)的过程目标：–数据优化。以最小代价(包括对日常操作的影响和对技能的要求)将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据ETL的前提–确定ETL范围•通过对目标表信息的收集，确定ETL的范围–选择ETL工具

2、•考虑资金•运行的平台、对源和目标的支持程度、可编程的灵活性、对源数据变化的监测、数据处理时间的控制、管理和调度功能、对异常情况的处理–确定解决方案•抽取分析、变化数据的捕获、目标表的刷新策略、数据的转换及数据验证ETL过程中应尽量遵循以下原则：–应尽量利用数据中转区对运营数据进行预处理。保证数据的安全性、集成与加载的高效性。–ETL的过程应是主动“拉取”，而不是从内部“推送”，其可控性将大为增强。–流程化的配置管理和标准协议–数据质量的保证•正确性、一致性、完整性、有效性、可获取性目录◇ETL定义◇模式及比较◇◇ETLETL过程过程◇◇

3、问题分析问题分析◇◇现状分析现状分析ETL模式及比较两种模式–异构–同构模式比较的维度：–特点–环境ETL模式-同构SynchronousarchitectureSourceDataCenterTargetDataCenterSourceETLTargetReaderDTMETLETL模式-异构AsynchronousarchitectureSourceDataCenterFTPTargetDataCenterETLFlatFlatETLSourceTargetFileFileReaderDTMETL两种模式的比较-特点异构(Asynch

4、ronous)同构(Synchronous)比同构模式提供了更好的数据处理性能，需要更少的处理要避免性能瓶颈问题，解决办法是缩小每次抽取的时间粒时间，因为通过网络传输文件的速度比直接通过数据库存度，例如将抽取周期定为每日抽取，这样可以保证每次抽取数据要快很多。取的增量数据数目是很少量的。在数据抽取过程中，应尽量避免本次抽取定义的时间区间与异构方式类似，应避免抽取时间区间和源数据系统的生内的源数据在抽取过程中同时产生变动的情况。即抽取的产时段相重合。如果源数据系统时刻都有新数据插入，一理想状况是抽取的同时源数据系统的数据是静止的，没有种解决

5、办法是设置一个时间区间，定义每次抽取的开始和增、删、改的情况伴随发生。对于ODS系统来说，数据不结束时间值：本次抽取的开始时间为上次抽取的结束时间会频繁地发生变动；而对于OLTP系统来说，应该选择源数，本次抽取的结束时间为机器系统时间（Sysdate）或者是据变化较少的时段完成抽取工作。目前数据库系统中已有记录的最大时间戳值。实际上就是定义某个时间区间内的源数据的快照(Snapshot)，这样就可以避免重复装载的情况发生。除此之外，还应该充分考虑源和目标两套数据库系统的Down机的时间因素。需要两套ETL包，一个用来抽取，一个用来装载，两

6、个包只需要一个ETL软件包。系统管理人员也只需要监视一套系都需要由专门的系统管理人员监视是否装载过程会发生错统。误。源和目标之间没有直接的联系。只要中间过渡的文本文件源和目标的关系是被绑定在具体的映射中的。当源或者目结构不发生变化，源和目标的结构即使改变而不会对ETL标的结构发生变化，相对应的映射也要做修改。流程产生很大的影响。异构(Asynchronous)同构(Synchronous)当ETL错误发生时，可以采用简单的处理办法修复数据：当与异构模式类似，当ETL错误发生也可以采用相应手段来抽取失败时，修正问题并重新从源中抽取；当装载过

7、程发生修复数据。例如，倘若源数据库中保留了所有历史记录，问题，回滚(Rollback)，返回上一次装载的状态并再次运行ETL程序可以根据设定的时间区间修复上一次装载失败的装载的程序。必要时甚至可以将数据仓库系统恢复到某一个数据。前提是必须先删除上一次装载失败从而在目标库中时点的状态并批量地装载文本文件。产生的垃圾数据，回滚(Rollback)，返回到上一次加载数据前的状态。可以根据目标表的主键来确定装载过程中插入或更新记录的策略，如果源记录的主键是新的，那么就插入该记录；如果源记录的主键在目标数据库中已经存在，那么就用源记录更新目标记录。

8、这样就可以避免多次重复装载的情况发生。同时，适当调大装载的时间区段也不会发生数据重复加载的情况。需要有专门的核查(Audit)程序来监控数据传输或者装载过程直接拷贝(directcopy),可