《数据仓库SQL优化》PPT课件

《《数据仓库SQL优化》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库系统调优课题DB2数据库分区数据库分区(databasepartitioning)设计CPU高速内存通道内存环境1Gbit高速网络通道DW1DW2FC高速IO通道DS8100阵列数据库分区关系数据压缩基本思路：字典表压缩Oracle：块级压缩块：大小介于4KB~32KB之间的存储单元当确定某个表要被压缩后，Oracle在每个数据块中保留空间，以便储存在该数据块中的多个位置上出现的数据的单一拷贝不能够跨块的边界寻找更大的重复模式只支持在批量加载操作期间进行数据压缩DB2：表级压缩需要事先提供样本数据可在INSERT操作过

2、程中同时进行压缩DB2行压缩技术（一）基于压缩字典的压缩方式通过使用较少的数据库页来表示相同数据,从而达到节省磁盘存储空间的目的DB2行压缩技术（二）行压缩的不会明显降低UPDATE的效率由于数据占用的存储空间少了，所以访问数据所需要的IO也少了，而IO正是数据仓库系统常见的瓶颈与行压缩关联的成本取决于压缩和解压缩数据所需的额外CPU周期可使用REORGTABLE命令来创建压缩字典｡在处理REORG命令时,现有的所有表行都要被压缩｡Reorg完成之后，后续INSERT的数据会自动按照现有的压缩字典来压缩数据，如果数据业务逻辑发

3、生了大的变更，压缩效果不理想，可以重新执行reorg操作分区表是一个分区一个压缩字典，所以分区表新分区的数据在没有reorg过之前是不会自动压缩的DB2VSOracle实验环境OS:WindowsServer200364-bitMemory:2GCPU:AMDopteron865processor1.80G（8核）Oracle企业版10gVSDB2版本：DB2企业版9.7数据集:中国移动GSM语音通话记录（gsm_voic_cdr.dat），替换分隔符后总大小为4.247G装载时间数据存储磁盘空间查询删除更新DB2不压缩DB2

4、压缩Oracle不压缩Oracle压缩实验效果77载入时间空间(M)查询时间更新时间删除时间Oracle未压缩00:13:23497100:01:1100:12:0300:05:13DB2未压缩00:11:42834900:02:3200:03:1200:07:58Oracle压缩00:10:14192700:00:4000:04:2200:05:31DB2压缩00:09:31205000:00:3000:02:5000:03:16查询语句selectcount(*)fromGSMwhereEXCHANGECODE='8613

5、900121‘更新语句UPDATEGSMSETLACCODE=‘GSM’WHEREDURATION=100删除语句DELETEFROMGSMWHEREDURATION=100压缩后的数据仅占原来的38.76%（Oracle）或24.55%（DB2）VARCHAR的结构信息在未压缩的DB2上占用较多空间压缩后数据增、删、改、查的效率更高移动数据上非常适合压缩索引优化(一)索引的优点1.通过创建唯一性索引，可以保证数据库表中每一行数据的唯一性。2.可以大大加快数据的检索速度，这也是创建索引的最主要的原因。3.可以加速表和表之间的连

6、接，特别是在实现数据的参考完整性方面特别有意义。4.在使用分组和排序子句进行数据检索时，同样可以显著减少查询中分组和排序的时间。5.通过使用索引，可以在查询的过程中，使用优化隐藏器，提高系统的性能。索引的缺点1.创建索引和维护索引要耗费时间，这种时间随着数据量的增加而增加。2.索引需要占物理空间，除了数据表占数据空间之外，每一个索引还要占一定的物理空间。3.当对表中的数据进行增加、删除和修改的时候，索引也要动态的维护，这样就降低了数据的维护速度。索引优化(二)DB2在用户指定数据表主键时，自动生成以主键为关键字的聚簇索引。建立

7、其他索引时有以下策略：(1)避免在小表上建立索引因为索引的维护需要一定的代价，在表上进行增删改操作时，索引需要重组，这就增加了数据库的负担，如果对索引的插入或者更新损失的时间大于在查询中节省下来的时间，那么使用索引就是一个不明智的决定。(2)在经常进行链接的列上建立索引，并且字段类型保持一致多表链接查询是数据库中最复杂、最耗时的操作之一。改进多表链接查询性能对系统性能的改进起很大的作用。在链接属性上存在索引时，DB2中采用索引嵌套循环链接，否则DB2使用哈希链接。(3)在频繁进行groupby／orderby的列上建立索引(4

8、)建立索引字段的列的长度尽量小，避免在Blob／Clob类型上建立索引。索引优化(三)(5)在SQL语句中频繁进行比较运算的列上建立索引。(6)避免在选择性太低的字段上建立索引，基数较大的列很适合用来做索引。选择性太低指的是索引中同一索引值的对应记录太多，在这种列上建立索引意