greenplum使用介绍

《greenplum使用介绍》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Greenplum使用介绍雷强2012年7月编写特别鸣谢：周海涛，张鸿飞，黄春宝122EMCGreenplum数据库简介Greenplum是2003年成立的，核心技术团队成员来自各个顶级数据库公司和大规模并行计算公司的资深软件架构师，例如：Oracle,Teradata,Tandem,MicrosoftSQLServer,Informix。Greenplum数据库软件是业内首创的无共享、大规模并行处理（massivelyparallelprocessing(MPP)）的数据库软件产品，它包含大规模并行计算技术和数据库技术最新的研发成果：包括无共享/MPP

2、，按列存储数据库，数据库内压缩，MapReduce，永不停机扩容，多级容错等等。该数据库软件被业界认可为扩展能力最大的分析型（OLAP）数据库软件。已有100多家世界级重大客户采用该软件，例如：NYSE,NASDAQ,AIG，eBay，德意志银行，美国联邦储备委员会，支付宝，淘宝，NTT-DoCoMo,T-Mobile,Skype，WalMart，中国电信等。这些客户中大多数Greenplum数据仓库所管理的数据量都超过100TB，其中，全球最大的有6500TB，中国最大的有400TB。每一天，全球有数亿级的用户在直接、间接用到Greenplum发明的数

3、据库平台。Greenplum分布式数据仓库软件特性介绍Greenplum数据仓库软件是业界首创将大规模并行计算技术，应用到了数据库软件领域。该类技术同样应用在Google搜索引擎的中。Greenplum数据仓库软件功能：无共享/MPP核心架构Greenplum数据库软件将数据平均分布到系统的所有节点服务器上，所以节点存储每张表或表分区的部分行，所有数据加载和查询都是自动在各个节点服务器上并行运行，并且该架构支持扩展到上万个节点。122混合的存储和执行（按列或按行）Greenplum发明支持混合按列或按行存储数据，每张表或表分区可以由管理员根据应用需要，分

4、别指定存储和压缩方式。基于这个功能，用户可以对任何表或表分区选择按行或按列存储数据和处理方式。这些是在建表或表分区的DDL语句中配置的，只需在建表或表分区时指定：这个功能基于Greenplum的多态维数据存储技术。多层次的容错能力Greenplum数据仓库软件自己包含多层次容错和冗余能力，这是云计算架构软件的一个重要特征。该功能保证整个数据仓库系统在遇到硬件、软件的故障的情况下，任然自动继续运行。在线系统扩容（永不停机）122在系统中增加节点服务器即可增加存储容量，处理性能和加载性能。当系统扩展时，数据仓库保持在线，并且完全可用，扩展进程在后台运行。增加

5、节点服务器，性能和容量线性增加。负载管理（WorkloadManagement）具有系统资源管控能力，并且可控制给各个查询分配各自系统资源。允许管理员指派资源队列，从而管理数据仓库的队列进入执行情况。在运行的查询的优先级可以随时调整。PB级的装载能力基于MPPScatter/Gather流技术的高性能并行加载功能。加载速度随着节点线性增加，实际超过4TB/小时。灵活的外部数据访问数据仓库软件可在任意外部数据源上并行运行常规SQL，不论外部数据源的位置，格式或存储介质。数据库内压缩利用业界领先的压缩技术，进一步提高性能，并极大地节省了数据存储空间。用户可获

6、得3-10倍的空间节省，并且同时获得相应有效I/O性能提升。122多层次表分区能力允许灵活地按照时间、范围、值域划分表分区。表分区由DDL设定，分区层级不限。数据仓库软件的查询优化器自动从查询执行计划中略去不涉及的表分区。索引功能Greenplum支持各种数据库索引技术，包括B-Tree，Bitmap等等。按列存储、按行存储数据库表都支持索引。完全遵从SQL最新标准遵从SQL-92，SQL-99，至SQL2003标准，并包括SQL2003OLAP扩展项。所有SQL查询都是在系统上并行执行。原生MapReduce功能MapReduce由Google发明，已

7、被证实为一个高扩展性的文本非结构化数据分析的技术。Greenplum的并行数据库软件核心可原生运行MapReduce程序。支持SQL2003OLAP扩展标准对SQL语言包括其OLAP扩展标准，都是在Greenplum数据仓库软件实现并行执行。全面支持SQL2003OLAP标准，包括Window函数，Rollup，Cube等等。客户端访问及第三方工具支持122完全支持数据库技术接口标准，例如:SQL,ODBC,JDBC,OLEDB，SAS,R语言等。同时，广泛地支持各个BI和ETL软件工具。综上所述，Greenplum数据仓库软件技术构成如下图：主流数据库

8、技术对比表：GreenplumTeradataNetezzaOracleExad