DB2-数据仓库集群设计

《DB2-数据仓库集群设计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、DB2数据仓库集群设计1日程不同的并行类型硬件软件DB2DPF并行架构数据库分区－Databasepartitioning服务器分区－ServerpartitioningIO并行物理数据库设计分区键－Partitioningkeys对性能和扩展性的影响应用并行何时分区？目标通过本文介绍，您将能够:理解不同种类的并行架构理解DB2MPP并行架构的原理理解DB2是如何处理并行SQL的理解并行机制是怎样影响BI架构设计的知道何时需要进行数据库分区了解IBMBCU从单处理器到大规模并行处理支持海量数据库扩展性所有都并行(MPP支持)集成的数据仓库/商业只能

2、函数开放的企业级解决方案64位全面支持单处理器SMP群集MPP相同功能所有架构–所有平台平台:AIXHP/UXSolarisLinuxWindowsCPUSQLCPUSQLCPUSQLCPUSQL并行交易CPUCPUCPUCPUSQL并行SQL概念和术语非共享体系架构－Shared-nothing软件概念：应用（数据库/ETL等）并行处理单一任务的能力，每个子任务处理一部分数据大规模并行处理(MPP)硬件概念：一组服务器/节点，通过高速网络通讯，运行非共享应用（数据库、ETL等）群集大规模并行计算、各节点共享磁盘子系统；当一个节点宕掉，另一个能访问

3、相同物理磁盘的节点将会接管失效节点的工作负荷。扩展性架构扩展能力：垂直扩展–通过增加单节点组件（CPU内存等）来扩展水平扩展–通过增加更多的节点来扩展线性线性扩展–效率指标，增加资源将线性提升性能分区数据库模型数据库被分为多个分区数据库分区可运行在不同的节点上每个数据库分区有独立的资源（引擎、日志管理、锁管理、缓存管理等）所有分区并行处理，由数据库系统进行统一协调和管理对用户和应用来讲是单一系统映象高速通讯管理（FCM）数据日志数据库分区DB2–非共享体系架构datalogdatalogdatalogdatalogDB2数据库拓朴高速网络table

4、CPUMEMCPUMEMCPUMEMCPUMEMMPP–小服务器LinuxWindowsRS/SPSMP–大服务器RegattaSunStarFireHPCPUMEMCPUCPUCPUtableCPUMEMCPUCPUCPUtableCPUMEMCPUCPUCPU高速网络群集–SMP群集数据库分区与节点关系Node1part0part1Node2part2part3##sqllib/db2nodes.cfg#0node101node112node203node21FCMFCMFCMFCM节点1分区0在0号逻辑端口上监听节点2分区3在1号逻辑

5、端口上监听节点2分区2在0号逻辑端口上监听节点1分区1在1号逻辑端口上监听db2nodes.cfgDB2实例配置文件所有数据库共享该配置位于DB2实例目录Sqllib在其中一个节点上NFS共享给其他节点DPF处理模型part0part1part2part3TXNTXNTXNTXNTXNTXNTXNTXNTXNTXNTXNTXNpart0part1part2part3TXNTXNTXNpart0part1part2part3TXNTXNTXNTXNTXNpart0part1part2part3part4part5TXNTXNTXN每个数据分区有更多的

6、资源相同的响应时间处理更多的查询更多的资源更多的数据分区相同数据量：更快的查询响应时间更多的数据量：相同响应时间OLTPDSS垂直扩展水平扩展扩展扩展I/O层次页面－Page读写的基本单位扩展块－Extent分配的基本单位页面数可定制能且只能用于存放数据库的一个对象（表、索引）通常为大的块I/O大小容器－ContainerDB2从中分配扩展块DMS文件(‘/hello.dat')DMS裸设备('/dev/rhello')SMS：目录(‘/hello’)表空间－Tablespace一组容器Page0Page1Page2Page3Page4Page5P

7、age6Page7Extent:一组页面row1row2row3Page:4k,8k,16kor32kExtent0Extent3Extent1Extent4Extent2Extent5Container:包含扩展块的文件containercontainercontainertablespaceTablespace:表和索引的存放空间Cont1Cont2Cont3总结:并行I/ObufferPartition0bufferPartition2bufferIOIOIOIOIOIOIOIOIOagentagentagentPartition1coord

8、extentsi/oserversContainersContainersContainersdbagents并行预取ag