MPP大数据库对比总结材料

《MPP大数据库对比总结材料》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、实用文档1概述随着海量数据问题的出现，海量管理能力，多类型，变化快，高可用性，低成本，高端可扩展性等需求给企业数据战略带来了巨大的挑战。企业数据仓库、数据中心的技术选型变得尤其重要！所以在选型之前，有必要对目前市场上各种大数据量的解决方案进行分析。2主流分布式并行处理数据库产品介绍2.1Greenplum2.1.1基础架构Greenplum是基于Hadoop的一款分布式数据库产品，在处理海量数据方面相比传统数据库有着较大的优势。Greenplum整体架构如下图：NetworkInterconnect............MasterSevers查询解析、优化、分发SegmentSevers查

2、询处理、数据存储SQLMapReduceExternalSources数据加载SQLMapReduce...SQLMapReduce数据库由MasterSevers和SegmentSevers通过Interconnect互联组成。Master主机负责：建立与客户端的连接和管理；SQL的解析并形成执行计划；执行计划向Segment的分发收集Segment的执行结果；Master不存储业务数据，只存储数据字典。Segment主机负责：业务数据的存储和存取；用户查询SQL的执行。2.1.2主要特性Greenplum整体有如下技术特点：uShared-nothing架构文案大全实用文档海量数据库采用最

3、易于扩展的Shared-nothing架构，每个节点都有自己的操作系统、数据库、硬件资源，节点之间通过网络来通信。u基于gNetSoftwareInterconnect数据库的内部通信通过基于超级计算的“软件Switch”内部连接层，基于通用的gNet(GigE，10GigE)NICs/switches在节点间传递消息和数据，采用高扩展协议，支持扩展到1000个以上节点。u并行加载技术利用并行数据流引擎，数据加载完全并行，加载数据可达到4。5T/小时（理想配置）。并且可以直接通过SQL语句对外部表进行操作u支持行、列压缩存储技术海量数据库支持ZLIB和QUICKLZ方式的压缩，压缩比可到10：

4、1。压缩数据不一定会带来性能的下降，压缩表通过利用空闲的CPU资源，而减少I/O资源占用。海量数据库除支持主流的行存储模式外，还支持列存储模式。如果常用的查询只取表中少量字段，则列模式效率更高，如查询需要取表中的大量字段，行模式效率更高。海量数据库的多种压缩存储技术在提高数据存储能力的同时，也可根据不同应用需求提高查询的效率1.1.1主要局限l列存储模式的使用有限制，不支持delete/update操作。l用户不可灵活控制事务的提交，用户提交的处理将被自动视作整体事务，整体提交，整体回滚。l数据库需要额外的空间清理维护（vacuum），给数据库维护带来额外的工作量。l用户不能灵活分配或控制服务

5、器资源。l对磁盘IO有比较高的要求。l备份机制还不完善，没有增量备份。1.2Vertica1.2.1基础架构与以往常见的行式关系型数据库不同，Vertica是一种基于列存储（Column-Oriented）的数据库体系结构，这种存储机构更适合在数据仓库存储和商业智能方面发挥特长。常见的RDBMS都是面向行（Row-OrientedDatabase）存储的，在对某一列汇总计算的时候几乎不可避免的要进行额外的I/O寻址扫描，而面向列存储的数据库能够连续进行I/O操作，减少了I/O开销，从而达到数量级上的性能提升。同时，Vertica支持海量并行存储（MPP文案大全实用文档）架构，实现了完全无共享，

6、因此扩展容易，可以利用廉价的硬件来获取高的性能，具有很高的性价比。如下图，展示的是单节点上的Vertica的基本体系结构。Vertica体系结构作为关系型数据库，Vertica的查询SQL也是在前端被解析和优化的。但与传统的关系型数据库有所不同，Vertica内部是混合存储的，包括两种不同的存储结构：写优化器（WOS）和读优化器（ROS）。(1)写优化器WOS（Write-OptimizedStore）是位于主存储器上的一个数据结构，用于有效的支持数据插入和更新操作；数据的存放是无序的，非压缩的。(2)读优化器ROS（Read-OptimizedStore）是磁盘物理存储，存放的是排序和压缩后

7、的数据库大块数据，因此这里的查询相比于WOS性能更好。(3)TupleMover进程是Vertica内部的一个进程，定期的以大数据块的形式把数据从WOS移到ROS，由于是对整个WOS操作，TupleMover一次能非常有效的排序很多记录，最后批量把它们写入磁盘。在Vertica内部，不论是WOS还是ROS都是按列存储的。文案大全实用文档1.1.1主要特性Vertica的关键特性：1列存储（Colu