db2_数据仓库集群设计

《db2_数据仓库集群设计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、®DB2数据仓库集群设计1©2009IBMCorporation®日程•不同的并行类型•硬件•软件•DB2DPF并行架构•数据库分区－Databasepartitioning•服务器分区－Serverpartitioning•IO并行•物理数据库设计•分区键－Partitioningkeys•对性能和扩展性的影响•应用并行•何时分区？2©2009IBMCorporation®目标•通过本文介绍，您将能够:•理解不同种类的并行架构•理解DB2MPP并行架构的原理•理解DB2是如何处理并行SQL的•理解并行机制是怎样影响BI架构设计的•知道何时需要进行数据库分区•了解IBMBCU3©2009IB

2、MCorporation®从单处理器到大规模并行处理ü支持海量数据库MPPü扩展性ü所有都并行(MPP支持)ü集成的数据仓库/商业只能函数ü开放的企业级解决方案ü64位全面支持CPU相所群集CPU同–有平SQLCPU功台CPU能所并行SQL有架构SMPSQLCPUSQLCPUSQLCPU平台:SQLCPUüAIX单处理器üHP/UX并行交易üSolarisüLinuxüWindows4©2009IBMCorporation®概念和术语•非共享体系架构－Shared-nothing•软件概念：应用（数据库/ETL等）并行处理单一任务的能力，每个子任务处理一部分数据•大规模并行处理(MPP)•硬

3、件概念：一组服务器/节点，通过高速网络通讯，运行非共享应用（数据库、ETL等）•群集•大规模并行计算、各节点共享磁盘子系统；当一个节点宕掉，另一个能访问相同物理磁盘的节点将会接管失效节点的工作负荷。•扩展性•架构扩展能力：•垂直扩展–通过增加单节点组件（CPU内存等）来扩展•水平扩展–通过增加更多的节点来扩展•线性•线性扩展–效率指标，增加资源将线性提升性能5©2009IBMCorporation®DB2–非共享体系架构分区数据库模型ü数据库被分为多个分区ü数据库分区可运行在不同的节点上ü每个数据库分区有独立的资源（引擎、日志管理、锁管理、缓存管理等）ü所有分区并行处理，由数据库系统进行统一

4、协调和管理ü对用户和应用来讲是单一系统映象高速通讯管理（FCM）数据库分区datalogdatalogdatalogdatalog数据日志6©2009IBMCorporation®DB2数据库拓朴高速网络CPUCPUCPUCPUMPP–小服务器LinuxMEMMEMMEMMEMWindowsRS/SPtableCPUCPUCPUCPU高速网络MEMCPUCPUCPUCPUCPUCPUCPUCPUMEMMEMtableSMP–大服务器RegattatableSunStarFireHP群集–SMP群集7©2009IBMCorporation®数据库分区与节点关系FCMFCMFCMFCMpart0

5、part1part2part3Node1Node2##sqllib/db2nodes.cfgdb2nodes.cfg#节点1分区0在0号逻辑端口上监听•DB2实例配置文件•所有数据库共享该配置0node10•位于DB2实例目录1node11节点1分区1在1号逻辑端口上监听•Sqllib在其中一个节点上2node20节点2分区2在0号逻辑端口上监听•NFS共享给其他节点3node21节点2分区3在1号逻辑端口上监听8©2009IBMCorporation®DPF处理模型TXNTXNTXNTXNTXNTXNTXNTXNTXNTXNTXNTXNTXNTXNTXNpart0part1part2par

6、t3part0part1part2part3OLTPDSS垂直扩展水平扩展TXNTXNTXNTXNTXN扩TXN展TXNpart0part1part2part3part4part5TXN扩展part0part1part2part3更多的资源更多的数据分区每个数据分区有更多的资源ü相同数据量：更快的查询响应时间ü相同的响应时间处理更多的查询ü更多的数据量：相同响应时间9©2009IBMCorporation®I/O层次•页面－Pagerow1Page:•读写的基本单位row2row34k,8k,16kor32k•扩展块－Extent•分配的基本单位Page0Page1•页面数可定制Page2P

7、age3Extent:•能且只能用于存放数据库的一个对象（表、Page4Page5一组页面索引）Page6Page7•通常为大的块I/O大小•容器－ContainerExtent0Extent3Cont1Container:•DB2从中分配扩展块Extent1Extent4Cont2包含扩展块的文件•DMS文件(‘/hello.dat')Extent2Extent5Cont3•DMS裸设备('/dev/rhe