数据仓库专用引擎解析.doc

《数据仓库专用引擎解析.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据仓库专用引擎-TeradataRDBMS对于国内数据库人士来说，Teradata也许还不象DB2、Oracle那么熟悉。但在国外，由于它驱动着世界上几乎一半的数据仓库，并且世界上最大的几十个数据仓库均采用它作为核心引擎，因此，Teradata几乎成了数据仓库引擎的代名词。对国内一些用户来说，一个自然的问题是：Teradata是什么？最简单的回答就是：它是一个关系数据库管理系统。既然如此，为什么要用Teradata而不使用那些传统的商用数据库系统比如Oracel来建立数据仓库呢？我们知道，商用数据库基本上是针对OLTP应用而开发出来的，由于数据仓库有其固有的特点，这些传统

2、的商用数据库不一定适合来驱动数据仓库应用，因为每种产品都有其强项和弱项，不可能面面俱到。而Teradata则是专门用来处理大量数据、针对决策支持应用而设计出来的，它具有很强的并行处理能力和扩展能力。下面我们将从Teradata的发展过程开始来介绍它的基本特点，从这些特点我们可以理解为什么说它是数据仓库的专用引擎。1.1.1Teradata简介Teradata是专门针对决策支持应用而设计的，早在1983年就推出了世界上第一个基于海量并行处理技术(MPP)的商用系统。长期以来，NCR公司投入了大量的人力、财力，对Teradata作了许多增强和优化，使得其更适合于进行海量数据的综

3、合分析和处理。Teradata从早期基于硬件的封闭系统发展成运行于UNIX环境、基于虚拟处理器(VPROC)技术的关系型数据库管理系统。特别值得强调的是，著名的评估机构GartnerGroup于1994年将Teradata评为“商用并行处理的领导者”，1996年进一步指出，“只有NCR的Teradata证明了其可扩展性”。我们知道，对于一个实际应用的数据仓库而言，并行处理能力和可扩展性是至关重要的两大因素，而Teradata正是通过其大量的实际应用而获此殊荣的。在数据库专业杂志“数据库编程与设计”(DatabaseProgramming&Design)每年的评选数据库十二大

4、产品(DatabaseDozen)的活动中，Teradata已经连续第7年入选。在1999年的评选中，该杂志认为，“Teradata代表了数据库技术的发展方向”。2000年初，GartnerGroup发表了著名的ASEM(ApplicationServerEnterpriseModel)评估报告，分别针对OLTP和数据仓库两个应用领域对目前市场上各大供应商进行了综合评估，评估指标非常全面，涵盖了产品特点、专业技术服务能力以及成功应用案例等各个方面。在数据仓库领域，NCR公司在系统性能、可扩展能力、容易管理、专业技术服务、成功案例等关键指标方面名列第一，并且最后总分第一。其中

5、TeradataRDBMS就是一个非常重要的产品之一。其它一些专业评估机构如MetaGroup等，都对NCR的Teradata数据仓库解决方案给予了极高的评价。1.1.1Teradata的基本结构Teradata采用了一种先进的虚拟处理器技术，称为VPROC(VirtualProcessor)。VPROC有两种，即PE(ParsingEngine，分析引擎，负责与外部的接口、查询的优化、任务调度等)和AMP(AccessModuleProcessor，存取模块处理器，负责完成数据处理操作)。其基本设想是：如果将一个复杂的任务分解成多个简单的子任务，每个虚拟处理器执行一个或几

6、个简单的子任务，最后将各虚拟处理器的执行结果汇总，那么总的执行时间就能大大缩短。图8-14Teradata内部并行处理机制Teradata同时支持SMP和MPP，在一个单节点的SMP系统中，其基本结构可以用下图8-15来表示：图8-15Teradata在SMP结点内的逻辑结构对于MPP系统，每个节点中的结构和图21是相同的。从图中可以看到，系统与外界的接口有以下两种：网关：所有支持TCP/IP协议的计算机可以通过网络与Teradata相联，其交易请求和处理结果都是通过网关进行交互的。通道：对于一些封闭主机系统(Mainframe)，Teradata提供了一种通道(Chann

7、el)直联的方式进行信息的交互，即与主机的通道直接联接，速度非常快。交易请交通过网关或通道进入系统后，将传递给分析引擎PE(ParsingEngine)。PE是由软件实现的，是一种虚拟处理器(VirtualProcessor)，简称为VPROC。PE主要由分析器(Parser)、优化器(Optimizer)和调度器(Dispatcher)组成，分析器分解接收到的SQL交易请求，进而由优化器产生最优的查询方案，由调度器控制查询的执行过程。当多个用户同时访问系统时，Teradata能够通过PE在各节点间自动平衡负载，不