datastage+产品介绍

datastage+产品介绍

ID:17376110

大小:980.00 KB

页数:20页

时间:2018-08-30

datastage+产品介绍_第1页
datastage+产品介绍_第2页
datastage+产品介绍_第3页
datastage+产品介绍_第4页
datastage+产品介绍_第5页
资源描述:

《datastage+产品介绍》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、DataStage企业版概述绪论DataStage企业版(正式称为DataStageXE并行组合)是AscentialSoftware公司所有企业整合系列产品中关键产品。企业版支持大容量数据的收集、整合和转换,数据从简单结构到很复杂的结构。基于高可扩展性的软件架购,企业版使得企业能够通过高性能来解决大部分业务问题,并行处理大容量数据。强大的企业元数据管理能力使得可以在数据整合生命周期中在所有工具中共享和使用工具。DataStage企业版发布了四个核心功能来成功实施企业数据整合:advanceddevelopmentandmaintenance,加速开发和简单化维护;enterprisedepl

2、oymentandmanagement提供了企业级别的开发、监测和管理能力;highlyscalablearchitecture,在吞吐量和性能方面提供了没有限制的扩展能力;end-to-endenterprisemetadatamanagement提供了整个企业数据的管理和联系数据的一种方法。AdvancedDevelopmentandMaintenanceDataStage企业版提供了全面的功能去最优化用户在建立、升级和管理数据整合架构时的速度、灵活性和效率。DataStage企业版增强的功能减少了学习的周期、简单化了管理和优化了开发资源的使用,减少了数据整合应用的开发和维护周期。结果,D

3、ataStage企业版使得企业能够花更少的时间开发他们的整合应用,更多的时间是不断的从中受益。DataStage企业版使用了Client-server架构,如下所示。图一、DataState企业版Client-Server架构用户通过各个客户端工具访问DataStage企业版的开发、配置和维护功能。这些工具包括:Designer:用来建立和编辑DataStage作业和表的定义。Designer中的“JobSequencer”控制作业的执行,其他作业成功完成(或失败,等)的条件。Administrator:用来执行管理任务,如建立DataStage用户、建立和删除工程并且建立清洗标准。Manag

4、er:用来编辑管理用户工程的DataStage资料库。Director:用来验证、时序安排、运行和监测企业版作业。如图一所示,DataSage企业版的服务器组件运行在一系列的流行服务器上,如Unix、Windows等。CompleteDevelopmentEnvironment用户使用DataStage企业版的Designer组件建立企业版数据整合应用。企业版设计是基于数据流的概念。数据流使得用户非常容易建立和理解应用。用户在一个强大的图形化调色板上通过一系列的功能组件(Stage)标示数据集合的流程来构建一个数据整合应用。一个完整的数据流图(DataStage作业),从一个永久存储的数据源开

5、始,并且执行一系列的增值转换和其他处理操作,最后加载数据到一个永久的存储。但是,企业版Designer开始使用户可以灵活从任何地方可以建立作业:从上到下、从下到上、从中间开始。一个完整的企业版数据流图如图二所示。图二、DataStage企业版数据流图示在建立一个企业版数据流图表时,通过一系列的处理步骤对庞大的数据集合构架顺序流。用户不需要担心如何在多处理器计算机上运行该应用。企业版对数据整合应用工作流的顺序描述和在生产环境中应用的并行执行做了一个清晰的区分。企业版处理数据集合。数据集合就是对通过数据流程的记录的收集。一个数据集合可以是屋里放置在磁盘上,也可以是虚拟放置在内存中。数据在数据流中的

6、Stage中移动使用的是虚拟的数据集合,这样可以大大提高性能;分区(在后面介绍)是在Stage的属性中设置的。企业版提供了12个内嵌的Stage来执行通用的数据整合任务,如Sort、Merge、join、filter、Transform和Aggregate。更完整的内嵌Stage列表参考本文档的AppendixA。每个企业版Stage是一个完整的功能组件,已经在多处理器系统中高吞吐量和高性能并行执行过。这些Stage摒弃了对通用数据处理用于的传统编写代码方式。用户可以在企业版DesignerGUI中找到这些内嵌的Stage。用户可以使用Stage的下拉菜单来这只Stage的参数。企业版Aggr

7、egatorStage的编辑器如下所示。图三、企业版编辑AggregatorStage图标和Stage编辑器例子企业版TransformerStage是一个强大和灵活的组件,允许用户对inputlink输入的数据进行转换。并且将数据传到另一个活动的Stage或者将数据写到目标数据或文件。Transformer编辑器(如下所示)使得用户可以在inputliks和outputlink间简单建立mapp

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。