资源描述:
《云计算大数据处理-数据立方与hive对比测试》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、云计算大数据处理分布式数据库-数据立方与Hive对比测试报告一、目的最近进行了云创存储的数据立方性能测试,并将其与开源数据仓库Hive进行了对比,从而得出在廉价的服务器上两者的性能测试结果。二、测试内容本次测试主要从数据查询方面进行对比测试,具体测试内容如下:1.统计单表记录数测试项序号测试内容执行SQLhive1统计查询800W条selectcount(*)frome_mp_power_curve;2统计查询1000W条selectcount(*)froma_tmnl_task;数据立方1统计查询800W条selectcount(*)frome_mp_power_curve;2统计查
2、询1000W条selectcount(*)froma_tmnl_task;1.查询单表字段数据测试项序号测试内容执行SQLhive1查询e_mp_power_curve表selectid,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAGfrome_mp_power_curvewhereid=100001100;2查询a_tmnl_taskselectTMNL_TASK_ID,TERMINAL_ID,TASK_IDfroma_tmnl_taskwheretmnl_task_id=100001000;数据立方1查询e_mp_power_curve表sele
3、ctid,DATA_TYPE,DATA_POINT_FLAG,DATA_WHOLE_FLAGfrome_mp_power_curvewhereid=100001100;2查询a_tmnl_taskselectTMNL_TASK_ID,TERMINAL_ID,TASK_IDfroma_tmnl_taskwheretmnl_task_id=100001000;2.两表join查询测试项序号测试内容执行SQLhive1A表1000W数据,B表800W,两表joinselectp.ID,o.TMNL_TASK_IDfroma_tmnl_taskojoinE_MP_POWER_CURVEpon(
4、o.TMNL_TASK_ID=p.idandp.id>=100000000andp.id<100625000)orderbyo.TMNL_TASK_IDlimit100000;2A表1000W数据,B表1000W,两表joinselecta.TMNL_TASK_ID,a.TMNL_TASK_IDfroma_tmnl_taskainnerjoina_tmnl_task_objoon(a.TMNL_TASK_ID=o.TMNL_TASK_IDanda.TMNL_TASK_ID>=100000000anda.TMNL_TASK_ID<100625000)limit100000;数据立方1查询
5、e_mp_power_curve表selectp.ID,o.TMNL_TASK_IDfroma_tmnl_taskojoinE_MP_POWER_CURVEpon(o.TMNL_TASK_ID=p.idandp.id>=100000000andp.id<100625000)orderbyo.TMNL_TASK_IDlimit100000;2查询a_tmnl_taskselecta.TMNL_TASK_ID,a.TMNL_TASK_IDfroma_tmnl_taskainnerjoina_tmnl_task_objoon(a.TMNL_TASK_ID=o.TMNL_TASK_IDanda
6、.TMNL_TASK_ID>=100000000anda.TMNL_TASK_ID<100625000)limit100000;1.三表join查询测试项序号测试内容执行SQLhive1A表1000W数据,B表800W,C表800W三表joinselectp.ID,o.TMNL_TASK_IDfroma_tmnl_taskojoinE_MP_POWER_CURVEpon(o.TMNL_TASK_ID=p.idandp.id>=100000000andp.id<100625000)orderbyo.TMNL_TASK_IDlimit100000;数据立方1A表1000W数据,B表800W
7、,C表800W三表joinselectp.ID,o.TMNL_TASK_IDfroma_tmnl_taskojoinE_MP_POWER_CURVEpon(o.TMNL_TASK_ID=p.idandp.id>=100000000andp.id<100625000)orderbyo.TMNL_TASK_IDlimit100000;三.测试环境Hive数据立方控制节点数量(台)11处理节点数量(台)99cpuIntelE5-26202.0G/15