vertica列式分析数据库

《vertica列式分析数据库》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、vertica列式分析数据库v8vertica列式分析数据库0小结与心得-增量加载案例测试9vertica列式分析数据库v8TABLEOFCONTENTS1vertica简介32vertica试用42.1数据装载42.2DML操纵42.3查询分析52.4集群62.5增量加载案例测试63小结与心得8小结与心得-增量加载案例测试9vertica列式分析数据库v8·vertica简介·vertica试用o数据装载oDML操纵o查询分析o集群o增量加载案例测试·小结与心得小结与心得-增量加载案例测试9vertica列式分析数据库v81VERTICA简介1.vertica是一种整合了MapRedu

2、ce能力的商业化数据库2.基于列的存储架构，高效的数据压缩能力3.基于Sharednothing架构，高度灵活的扩展能力4.集成的高可用性，采用分布式集群，支持大规模并行处理5.支持混合存储模型，高速装载和高速查询可同时进行6.与主流db和bi工具无缝集成，是dw的超级加速器7.符合工业标准，支持SQL，ACID，JDBC，ODBC，可与流行的ETL工具集成小结与心得-增量加载案例测试9vertica列式分析数据库v81VERTICA试用在一台普通的赛扬d单核、内存2g的pc机上对oracle10g和vertica5进行了一些简单的对比测试，测试数据量约500w+1.1数据装载oracl

3、evertica加载方法SQLLOADERLOADSCRIPTS耗时约6mins1min20scpu使用约15%约100%OSwindowslinux平台物理机虚拟机两者在平面文件导入方面看，有明显的差距，vertica的效率大约是oracle的4倍左右，并且vertica在cpu的使用上已经满负荷了，测试机上的cpu性能可能也限制了vertica的发挥，按照官方公布的数据，早在2008年12月，HP和Vertica一起工作打破了一下数据仓库数据加载的世界记录，在57分钟21秒的情况下加载了5.4TB的数据进入Vertica数据库，系统运行在HP的C7000刀片机架上。所以我们完全可以相

4、信vertica在数据装载方面的性能是非常出色的，只要cpu足够强劲。需要注意的是，vertica和oracle都不支持增量装载，一个平面文件只能全量装载。ps：oracle在数据传输上，效率最高的是表空间传输技术，其次是数据泵+外部表（数据格式为二进制）技术，最后才是sqlload，不过由于前2种技术依赖的文件格式是oracle独占性的，并不具备通用性。1.2DML操纵oraclevertica小结与心得-增量加载案例测试9vertica列式分析数据库v8操纵语句insertinsert耗时19.9s约2minscpu使用约15%约20%在dml语句使用上，vertica和oracle

5、表现出的性能与数据装载测试中的效果恰好相反，这是列式存储的架构决定的，行存储架构下，一行记录存储在连续的数据块上，而列架构则是在连续的数据块上存储多行的同一列，这就造成了在列存储架构下一行记录不能顺序写而只能离散写。sybaseiq同样存在这样的效率问题，如果存在较复杂的ETL时，那T环节的实现方案可能需要仔细考虑。1.1查询分析案例1sql如下：selectcount(*)asB5fromCfcs_B1_AllaleftjoinDIM_T_HY1bon(a.HY_DM=b.HYW_DM)where(b.HYML_DM='02')oraclevertica耗时约4s约2scpu使用约10

6、%约100%案例2sql如下：selectsum(a.zb1)asB2,'1'asA2fromCfcs_B1_Allawhere(a.HY_DMLIKE'A%')小结与心得-增量加载案例测试9vertica列式分析数据库v8oraclevertica耗时约3s约1scpu使用约10%约100%从两个查询案例的测试结果来看，vertica在测试中表现出的效率大约高出oracle一倍，当然oracle通过创建索引也能将查询时间缩短到与vertica相差无几，不过我们也要考虑到测试的台式机cpu已经是vertcia发挥的瓶颈。测试的目的不是为了证明vertcia的速度是oracle的2倍。而是

7、有助于我们想象当数据量上升到tb甚至pb级时，当cpu性能或者集群性能足够好时，基于Sharednothing架构可无限扩展集群节点的vertica所表现出来的性能。1.1集群测试环境不具备，缺少vertica安装程序（rpm包），未做测试不过从vertica的文档和试用感受来看，它的集群部署应该比较简单（比oracle简单得多）1.2增量加载案例测试模拟一个增量加载的例子，假设一张事实表为月度主题表，里面已存有3年的历史数据，总计