资源描述:
《cpic-greenplum 调优汇总》由会员上传分享,免费在线阅读,更多相关内容在应用文档-天天文库。
1、Greenplum数据库调优报告中国太平洋保险Greenplum数据库调优总结易安信电脑系统(中国)有限公司2013年03月20日第27页Greenplum数据库调优报告第27页Greenplum数据库调优报告文档信息项目名称:Greenplum调优报告文档版本号:1.0文档作者:龙国荣生成日期:2013/03/20文档审核者:审核日期:文档维护记录版本号维护日期作者/维护人描述1.02013/03/20龙国荣创建版权说明本文件中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容,除另有特别注明,版权均属EMC公司所有,受到有关产权及版权法保护。任何个人、
2、机构未经EMC公司的书面授权许可,不得复制、引用或传播本文件的任何片断,无论通过电子形式或非电子形式。第27页Greenplum数据库调优报告目录第一章调优需求4第二章调优时间安排5第三章调优过程63.1Greenplum执行计划分析63.1.1在不同时期执行计划比较73.1.2差异原因分析93.1.3调优原则103.2分布健选择策略103.2.1调优前效率103.2.2调优后效率103.2.3调优SQL103.2.4效率分析123.2.5调优方案153.2.6调优原则153.3索引、主健约束163.3.1调优前效率163.3.2调优后效率163.3.3调优SQL
3、163.3.4效率分析163.3.5调优方案163.3.6调优原则173.4分区表规划173.4.1调优前效率173.4.2调优后效率173.4.3调优SQL173.4.4效率分析193.4.5调优方案19第27页Greenplum数据库调优报告3.4.6调优原则203.5关联查询效率优化203.5.1调优SQL203.5.2效率分析213.5.3调优方案223.5.4调优原则23第四章后续优化建议244.1硬件问题244.2磁盘空间回收244.3分布健调整254.4分区表建立25第27页Greenplum数据库调优报告第一章调优需求中国太保EDW平台部分新应用上
4、线后,出现系统性能下降和部分function执行缓慢,需要对系统进行检查和调优。环境现状如下:2+12的GP集群环境,已保存28TB的生产数据,基本上没有使用压缩表和分区表。生产情况:在有2-3个任务并行的情况下,数据库相应非常缓慢,部分function在晚上有并发的时候执行,会很慢,但在白天单任务执行的时候会快很多。第27页Greenplum数据库调优报告第一章调优时间安排本次调优从2月18号进场开始,分成三个阶段,每阶段现场服务、调优一周。第一阶段:2月18号----2月22号,调优过程中发现GP环境中129节点磁盘读写性能很差,同一RAID卡上一个数据目录读
5、写性能只有100+MB/S,另一磁盘目录有300+MB/S。经查是磁盘柜头硬件故障,21号晚更换硬件后,129节点的磁盘读写性能都能达到900MB/S左右。第二阶段:3月4号----3月8号,针对MIS应用进行调优,发现几类共性的问题。第三阶段:3月18号----3月22号,临时性的问题解决处理,调优问题总结和培训。第27页Greenplum数据库调优报告第一章调优过程本次现场服务,除了解决129节点的硬件问题外,还解决了寿险、产险等MIS模块的一些典型的SQL效率问题,具体如下:1.1Greenplum执行计划分析explainselect'200905',co
6、alesce(A.book_set_id,''),coalesce(b.book_type,''),--12月份数据book_type有三种状态:“1”,调整2“2”用一月份的期初数当12月份的期末数(因为期初数与期末数不平)“3”调整前coalesce(B.branch_company_code,''),coalesce(B.cur_code,''),coalesce(b.main_product_code,''),coalesce(A.index_id,''),coalesce(a.INDEX_NAME,''),coalesce(a.F_INDEX_ID,''
7、),coalesce(a.INDEX_LEVEL,''),sum(B.PERIOD_NET_CR+B.BEGIN_BALANCE_CR-B.PERIOD_NET_DR-B.BEGIN_BALANCE_DR)--本期借款+期初借款-本期贷款-期初贷款fromT_FACT_FIN_AL_CONFIGALEFTJOINf_bb_fin_account_balances_midBONb.index_idbetweenA.BEGIN_SUBJECTandA.END_SUBJECTWHEREa.index_level=4andb.date_stamp='200905'ANDA
8、.BOOK