Greenplum 数据库开发基础.ppt

《Greenplum 数据库开发基础.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Greenplum数据库开发基础12014年10月目录Greenplum概述和数据分布数据加载和外部表客户端工具Greenplum数据库基础Greenplum与Oracle优化策略其他要点及示例MPP架构MPP(MassivelyParallelProcessing)Shared-NothingArchitectureMPP无共享架构的优势InterconnectLoading数据分布在所有的并行节点上每个节点只处理其中一部分数据最优化的I/O处理所有的节点同时进行并行处理节点之间完全无共享，无I/O冲突自动化的并行处理机制内部处理自动化并行，

2、无需人工分区或优化加载与访问方式与一般数据库相同最易于扩展的架构BI和数据分析的最佳选择增加节点实现线性扩展增加节点可线性增加存储、查询和加载性能Greenplum基本架构MPP(MassivelyParallelProcessing)Shared-NothingArchitectureNetworkInterconnect............MasterSeversQueryplanning&dispatchSegmentSeversQueryprocessing&datastorageSQLMapReduceExternalSou

3、rcesLoading,streaming,etc.Greenplum的并行处理特性并行处理由系统自动完成，无需人工干预所有数据均匀分布到所有节点，每个节点都计算自己的部分数据，所以并行处理无需人工干预，系统自动完成。无需复杂的调优需求，只需要加载数据和查询DBA工作量极少，无需复杂的调优工作和维护工作。扩展性可线性扩展到10，000个节点每增加一个节点，查询、加载性能都成线性增长客户端访问及第三方工具支持完全支持数据库技术接口标准，例如:SQL,ODBC,JDBC,OLEDB等。同时，广泛地支持各个BI和ETL软件工具。Greenplum基本

4、体系架构客户端接口和程序psqlpgAdminIIIODBC/DatadirectJDBCPerlDBIPythonlibpqOLEDBMasterHost访问系统的入口建立与客户端的连接和管理SQL的解析并形成执行计划执行计划向Segment的分发收集Segment的执行结果协调工作处理过程Master不存储业务数据，只存储系统目录表和元数据（数据字典）Segment每段（Segment）存放一部分用户数据一个系统可以有多段用户不能直接存取访问所有对段的访问都经过Master用户查询SQL的执行InterconnectGreenplum数据库

5、之间的连接层进程间协调和管理基于千兆以太网架构属于系统内部私网配置支持两种协议：TCPorUDPGreenplum高可用性体系架构Master/Standby镜像保护Standby实时与Master节点的Catalog和事务日志保持同步Standby节点用于当PrimaryMaster节点损坏时提供Master服务数据冗余-Segment镜像保护每个Segment的数据冗余存放在另一个Segment上，数据实时同步当PrimarySegment失败时，MirrorSegment将自动提供服务PrimarySegment恢复正常后，使用gprec

6、overseg–F同步数据。表分布的策略-并行计算的基础Hash分布CREATETABLE…DISTRIBUTEDBY(column[,…])同样数值的内容被分配到同一个Segment上循环分布CREATETABLE…DISTRIBUTEDRANDOMLY具有同样数值的行内容并不一定在同一个Segment上分布键(DistributionKeys)用于将数据平均分布到Segments之中的一个或者多个字段用表的主键作分布键可以使数据分布均匀建表时使用DISTRIBUTEDBY子句定义表的分布键CREATETABLEsales(dtdate,p

7、rcfloat,qtyint,cust_idint,prod_idint,vend_idint)DISTRIBUTEDBY(dt,cust_id,prod_id);如果表没有主键，或者没有合适的字段作为分布键，可以使用随机分布键（DISTRIBUTEDRANDOMLY）如果没有明确定义分布键，系统会把第一个字段作为表的分布键分布存储数据均匀分布-并行处理的关键43Oct2020051264Oct2020051145Oct2020054246Oct2020056477Oct2020053248Oct20200512OrderOrder#Orde

8、rDateCustomerID50Oct2020053456Oct2020052163Oct2020051544Oct2020051053Oct2