IndexR & Drill vs Parquet & Impala的TPC-DS基准测试比对.doc

《IndexR & Drill vs Parquet & Impala的TPC-DS基准测试比对.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、IndexR & Drill vs Parquet & Impala的TPC-DS基准测试比对· 测试目的· 测试版本· 集群配置· 测试素材· 测试用例· 测试方法· 测试结果· 测试结论· 关于TPC测试目的indexR & Drill与parquet & Impala在TPC-DS基准测试下的性能对比测试版本drill 1.10impala 2.1TPC-DS v2.5.0rc2集群配置cpu：Intel(R) Core(TM) i7-4820K CPU @ 3.70GHz （1U 4Core）mem: 64G节点个数：5测试素材根据TPC-DS提供的ANSI SQL脚本，按照符合Dri

2、ll、impala的语法进行修改测试用例根据TPC-DS提供的ANSI SQL脚本，按照符合Drill、impala的语法进行修改 测试方法生成100G的数据量，最大事实表4亿行记录，使用tpc-ds的99个查询语句进行测试测试结果单位：s（秒）测试用例Parquet+ImpalaindexR+Drill1223.1249.220.43251.4240.3419.718.1553.437.46168.9248714.53.7825.815.7943631.410160.540011Not SupportedNot Supported1216.334.513204.21447.38157.55.

3、51615.313.71784.5Not Supported1816.614.41923.325.420292.2757.321Not SupportedNot Supported2224.511.22334.337.6242.84.625170.9Not Supported2614.510.1278.94.22812.8Not Supported2926.114.53020.726.431299.919.2321373356.276.734Not SupportedNot Supported35330.8282.636106.648.23718.320.23835.424.23910.98.

4、8401.31.241333.628.14239.862.74356.7126.9441.82.14510.21.94683.155.84730.113.148102.770.64950.8Not Supported5062.455.751207.6941.65293118.853378.264546861.85535.720.95693.95716.213.55834272.65910.91.660106.9127.9619.41.76210.66313.18.56445.46511.35.66617.29.167314.637.168425.7Not Supported6991.5Not 

5、Supported7028.835.67150.7477219.24.17323.57.27427.8327516.313.776114.7308.87772.184.87821.26.37922.26.98021.16.981126.1Not Supported8217.11.58340.513.48429.118.58528.49.38664.363.287530n/a(>20mins)889.83.98953.919.89027.313.79159.53692183.4Not Supported93640.9n/a(>20mins)945.68.49586.638.5966.97.797

6、39.614.19850.157.79910137.5 测试结论一、99个query中的61个场景，indexr & drill快于parquet & impala，约占总数的60%，主要集中在一般复杂度（如：随机查询、范围查询、分组聚合）的ad-hoc场景。两套引擎的效率，彼此都有高于对方数倍、甚至十倍的用例场景。二、indexr & drill较之impala & parquet更慢的大多数场景，主要体现在：多层嵌套查询、含有非等值连接的多表关联、开窗函数、cte公共表达式等。有些query二者存在好几倍的差距，主要体现在复杂语句物理计划的差别上。三、测试的query中，impala和dr

7、ill最快都能够在1s、2s就计算出结果，符合预期效果。四、impala测试的所有query都能在可忍受（20mins以内）的时间内跑完，而drill有2个query无法在有限时间内完成计算（>1h）。其中case87是11个表的join操作，case93是cte的6次自连接操作。属于十分考验计算能力的复杂query。五、99个用例中有11个query是drill不支持的（改写的等价sql也不支持