云计算大数据处理-数据立方与hive对比测试2

《云计算大数据处理-数据立方与hive对比测试2》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、云计算大数据处理分布式数据库-数据立方与Hive对比测试报告一、目的最近进行了云创存储的数据立方性能测试，并将其与开源数据仓库Hive进行了对比，从而得出在廉价的服务器上两者的性能测试结果。二、测试内容本次测试主要从数据查询方面进行对比测试，具体测试内容如下：1.统计单表记录数测试项序号测试内容执行SQLhive1统计查询800W条selectcount(*)frome_mp_power_curve;2统计查询1000W条selectcount(*)froma_tmnl_task;数据立方1统计查询800W条selectcount(*)from

2、e_mp_power_curve;2统计查询1000W条selectcount(*)froma_tmnl_task;1.查询单表字段数据测试项序号测试内容执行SQLhive1查询e_mp_power_curve表selectid,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAGfrome_mp_power_curvewhereid=100001100;2查询a_tmnl_taskselectTMNL_TASK_ID,TERMINAL_ID,TASK_IDfroma_tmnl_taskwheretmnl_task

3、_id=100001000;数据立方1查询e_mp_power_curve表selectid,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAGfrome_mp_power_curvewhereid=100001100;2查询a_tmnl_taskselectTMNL_TASK_ID,TERMINAL_ID,TASK_IDfroma_tmnl_taskwheretmnl_task_id=100001000;2.两表join查询测试项序号测试内容hive1A表1000W数据，B表800W,两表join2A表1000

4、W数据，B表1000W,两表join数据立方1查询e_mp_power_curve表2查询a_tmnl_task1.三表join查询测试项序号测试内容hive1A表1000W数据，B表800W,C表800W三表join数据立方1A表1000W数据，B表800W,C表800W三表join三．测试环境Hive数据立方控制节点数量(台）11处理节点数量（台）99cpuIntelE5-26202.0G/15M/6CIntelE5-26202.0G/15M/6C内存32G32G网络千兆以太网千兆以太网硬盘3T×23T×2软件版本hive-0.9.0-cd

5、h4.1.2datacube-1.0四．测试结果1.单表数据量查询性能对比测试产品名称数据量(条)查询时间(ms)hive800W1151141000W38887数据立方800W233401000W6910通过相同环境下测试可以看出：数据立方单表统计查询速度是Hive的至少3-5倍。2.单表字段查询性能对比测试产品名称数据量(条)查询时间(ms)hive800W176591000W18883数据立方800W3701000W1360从数据图可以看到单表字段查询时数据立方速度是hive的5-10倍。2.两表join查询性能对比测试结果集（条）A表B

6、表hive查询时间（ms）数据立方查询时间(ms)10W1000W800W41667395050W1000W800W482966880从数据图可以看到两表join查询时数据立方速度是hive的6-10倍以上。2.三表join查询性能对比测试结果集A表B表C表数据立方查询时间(ms)数据立方查询时间(ms)1000条1000W1000W800W6555071707000条1000W800W800W678917710从数据图可以看到三表join查询时数据立方速度是hive速度的几乎10倍。2.GangLia监控截图：1个小时内CPU负载情况图1个小

7、时内内存使用情况图1个小时内CPU负载情况图1个小时内网络负载情况图1个小时内数据包流量图五.测试总结本次在一体机上分别对云创存储的数据立方、开源数据仓库Hive在不同数据量情况下，进行了单表数据量查询性能对比测试，单表字段查询性能对比测试，两表join查询性能对比测试,三表join查询性能对比测试,从测试结果来看，数据立方在数据查询方面都优越于开源数据仓库Hive，数据立方的查询速度一般是Hive的3-10倍。证明了其优异的性能。具体性能结果请见第四章节测试结果部分。