欢迎来到天天文库
浏览记录
ID:49767935
大小:289.49 KB
页数:5页
时间:2020-03-04
《IndexR & Drill vs Parquet & Impala的TPC-DS基准测试比对.doc》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、IndexR & Drill vs Parquet & Impala的TPC-DS基准测试比对· 测试目的· 测试版本· 集群配置· 测试素材· 测试用例· 测试方法· 测试结果· 测试结论· 关于TPC测试目的indexR & Drill与parquet & Impala在TPC-DS基准测试下的性能对比测试版本drill 1.10impala 2.1TPC-DS v2.5.0rc2集群配置cpu:Intel(R) Core(TM) i7-4820K CPU @ 3.70GHz (1U 4Core)mem: 64G节点个数:5测试素材根据TPC-DS提供的ANSI SQL脚本,按照符合Dri
2、ll、impala的语法进行修改测试用例根据TPC-DS提供的ANSI SQL脚本,按照符合Drill、impala的语法进行修改 测试方法生成100G的数据量,最大事实表4亿行记录,使用tpc-ds的99个查询语句进行测试测试结果单位:s(秒)测试用例Parquet+ImpalaindexR+Drill1223.1249.220.43251.4240.3419.718.1553.437.46168.9248714.53.7825.815.7943631.410160.540011Not SupportedNot Supported1216.334.513204.21447.38157.55.
3、51615.313.71784.5Not Supported1816.614.41923.325.420292.2757.321Not SupportedNot Supported2224.511.22334.337.6242.84.625170.9Not Supported2614.510.1278.94.22812.8Not Supported2926.114.53020.726.431299.919.2321373356.276.734Not SupportedNot Supported35330.8282.636106.648.23718.320.23835.424.23910.98.
4、8401.31.241333.628.14239.862.74356.7126.9441.82.14510.21.94683.155.84730.113.148102.770.64950.8Not Supported5062.455.751207.6941.65293118.853378.264546861.85535.720.95693.95716.213.55834272.65910.91.660106.9127.9619.41.76210.66313.18.56445.46511.35.66617.29.167314.637.168425.7Not Supported6991.5Not
5、Supported7028.835.67150.7477219.24.17323.57.27427.8327516.313.776114.7308.87772.184.87821.26.37922.26.98021.16.981126.1Not Supported8217.11.58340.513.48429.118.58528.49.38664.363.287530n/a(>20mins)889.83.98953.919.89027.313.79159.53692183.4Not Supported93640.9n/a(>20mins)945.68.49586.638.5966.97.797
6、39.614.19850.157.79910137.5 测试结论一、99个query中的61个场景,indexr & drill快于parquet & impala,约占总数的60%,主要集中在一般复杂度(如:随机查询、范围查询、分组聚合)的ad-hoc场景。两套引擎的效率,彼此都有高于对方数倍、甚至十倍的用例场景。二、indexr & drill较之impala & parquet更慢的大多数场景,主要体现在:多层嵌套查询、含有非等值连接的多表关联、开窗函数、cte公共表达式等。有些query二者存在好几倍的差距,主要体现在复杂语句物理计划的差别上。三、测试的query中,impala和dr
7、ill最快都能够在1s、2s就计算出结果,符合预期效果。四、impala测试的所有query都能在可忍受(20mins以内)的时间内跑完,而drill有2个query无法在有限时间内完成计算(>1h)。其中case87是11个表的join操作,case93是cte的6次自连接操作。属于十分考验计算能力的复杂query。五、99个用例中有11个query是drill不支持的(改写的等价sql也不支持
此文档下载收益归作者所有