杨涛：MySQL的开源DW解决方案

《杨涛：MySQL的开源DW解决方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、DTCC2011基于MySQL的开源DW杨涛MySQL顾问上海爱可生信息技术有限公司电话：+86-15201662903邮箱：david.yang@actionsky.com围脖：http://t.sina.com.cn/actiontechCopyright2010ActionTech1AgendaDTCC2011·····开源DW的优势爱可生的开源DW服务MySQL的DW产品Infobright介绍爱可生介绍Copyright2010ActionTech2开源DW的优势DTCC2011·

2、开源数据仓库在前期耗费较少，维护和支持费也较少·源数据仓库采用的技术很容易在市场中获得·开源数据仓库大大促进了标准化。·开源数据仓库相当灵活·开源数据仓库能从网络社区效应中获利·开源数据仓库可以逐步实施Copyright2010ActionTech3Copyright2010ActionTech列存储VS行存储DTCC20114Copyright2010ActionTech列存储vs行存储–用例DTCC20115Infobright介绍·开源数据仓库（DataWarehouse）解决方案·基于

3、列存储的存储引擎·海量数据存储·数据压缩比例高·高速的数据装载性能·优化的统计算法（sum/group/count…）Copyright2010ActionTechDTCC20116Infobright价值·节约设计开销Ø没有复杂的数据仓库模型设计要求(比如星状模型、雪花模型)Ø无需要物化视图、数据分区、索引建立·节省存储资源Ø高压缩比率通常是10:1，某些应用可能达到40:1·集成利用广泛DTCC2011时间Ø和众多的BI套件相容，比如Pentaho、Cognos、Jaspersof·降低运维成本

4、Ø随着数据库的逐渐增大，查询和装载性能持续保持稳定Ø实施和管理简单，需要极少的管理·商业保证Ø第一个商业支持的开源仓储分析数据库Ø是Oracle/MySQL官方推荐的仓储集成架构Copyright2010ActionTech资源资金7InfobrightVS传统存储Copyright2010ActionTechDTCC20118Infobright适用场景DTCC2011l大数据量的分析应用˗网页/在线分析、移动分析、客户行为分析、分析营销和广告……l日志/事件管理系统˗电信详单分析和报告、系

5、统/网络安全认证记录……l数据集市˗企事业单位特定数据仓库、为中小企业提供数据仓库……l嵌入式分析˗为独立软件供应商/SaaS供应商提供嵌入式分析应用……Copyright2010ActionTech9Infobright客户案例--BangoBango需求移动账单业内的领导者利用SaaS模型进行移动账单的分析服务业务压力：u每个月产生1.5亿行数据u每个月数据量增长450GSQLServer服务器无法达到查询性能要求新数据库需要满足：u规模更大的数据集u快速查询的反应能力u快速实施&低维护成本u成本

6、效益好的解决方案Copyright2010ActionTechDTCC201110InfobrightCopyright2010ActionTech组成部分DTCC201111Infobright模块原理DTCC2011·优化器Ø最小化的解压缩数据Ø有效提高执行计划·知识网格Ø存储元数据、列信息、表关系Ø数据块分布状态统计信息Ø同等查询状态缓存信息·数据块Ø真实数据压缩存放位置Ø按照数据存储块保存Copyright2010ActionTech12DataPacksCopyright2010A

7、ctionTechDTCC201113DataPacks数据压缩之后Copyright2010ActionTechDTCC201114KnowledgeGridCopyright2010ActionTechDTCC201115KnowledgeGridNodes-DPNsCopyright2010ActionTechDTCC201116DTCC2011Copyright2010ActionTech17KnowledgeGridNodes-HistogramsKnowledgeGridNodes

8、-CMAPsCopyright2010ActionTechDTCC201118KnowledgeGridNodes-P-2-PCopyright2010ActionTechDTCC201119OptimizerCopyright2010ActionTechDTCC201120Infobright粗糙集示例DTCC2011SELECTCOUNT(*)FROMemployeesWHEREsalary>100000ANDageANDjob