基于代价模型的spark sql查询优化研究

《基于代价模型的spark sql查询优化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、．．．．ＵＮＩＶＥＲＳＩＴＹＯＦＥＬＥＣＴＲＯＮＩＣＳＣＩＥＮＣＥＡＮＤＴ巨ＣＨＮＯＬＯＧＹＯＦＣＨＩＮＡ，Ｖ二自硕±学位论文ＭＡＳＴＥＲＴＨＥＳＩＳ／館叙＇＇＇‘：。：？＇＇．论文题目基于代价模型的甜ａｒｋＳＱＬ查询优化妍究塞学科专业计算机应用技术＿＿—学号２０１３２１０６０４３１．－作者姓名刘春雷指导教师起勇副教授＿＿＿—－独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加标注和致谢的

2、地方夕ｈ，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本挤究所做的任何贡献均己在论文中作了明确的说明并表示谢意。作者签名：每磅日期年＾月么＾曰［爲论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文，的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘允许论文被查阅和借阅。本人授权电子科技大学可将学位论文的全部或部分内容编入有关数据库进行检索，可レッ采用影印、缩印或扫描等复制手段保存。、汇编学位论文（保密的学位论文在解

3、密后应遵守此规定）作者签名：导师签名；ｔ鮮曰期：以年＾月＞钻分类号密级注1UDCSparkSQL（题名和副题名）（作者姓名）指导教师（姓名、职称、单位名称）申请学位级别学科专业应用技术提交论文日期2016.03论文答辩日期2016.05.19学位授予单位和日期20166答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。ResearchonCost-basedQueryOptimizationforSparkSQLAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChin

4、aMajor:ComputerAppliedTechnologyAuthor:LiuChunleiSupervisor:AssociateProf.ZhaoYongSchool:SchoolofComputerScience&Engineering摘要摘要近几年，Spark作为下一代通用大数据计算平台，因其高效的海量数据处理能力得到了越来越多企业和研究人员的关注。SparkSQL作为Spark上的结构化数据查询引擎被越来越多的企业、机构用于分析他们积累的结构化数据，从中挖掘有价值的信息。然而，相较于传统的数据库以及MapReduce类查询引擎而言，SparkSQL仍然缺乏基于代价

5、模型的查询优化手段。因此，本文借鉴数据库领域以及MapReduce上的查询优化技术，结合Spark自身的特点，提出了一个基于代价模型的查询优化原型，用以提高SparkSQL在关系查询上的执行效率。本文研究的重点是根据Spark计算平台自身的特点，提出一个基于代价模型的查询优化原型。相较于MapReduce类系统，Spark在计算过程中的中间结果可以缓存在内存中，减少了磁盘的读写I/O消耗。本文针对关系查询中常见的几种操作——选择、投影、分组聚合在Spark中的物理实现定义了代价模型。对等值连接的两种在Spark中的物理实现Shufflejoin和Broadcastjoin分别定义

6、了成本模型。在本论文中，对已有的数据库领域的查询优化方法以及MapReduce类系统上的查询优化研究进行了调研，对基于代价模型的查询优化方法进行了深入的研究。为了能更准确的估算查询计划的执行代价，优化器原型利用等深直方图这一种商业数据库常用的统计技术来获得更准确的中间结果估算。在等深直方图的基础上，定义了查询中间结果大小的估算方法。根据中间结果的估算来选择合适的表之间的连接顺序。在中间结果大小的基础上，结合Spark系统的特点，给出了Spark上的代价模型。根据定义的代价模型对等价的物理查询计划进行执行代价估算，从中找出执行代价最小的查询计划，提交给Spark计算引擎执行，并向用

7、户返回最终结果。最后，本文对提出的基于代价模型的优化原型进行了性能测试。设定了2种不同的集群状态和4个不同的查询任务。将未优化的查询时间与优化后的查询时间进行对比。实验表明，与SparkSQL未优化前相比，优化原型可以使得查询效率提升13.51%。关键词：查询优化，代价模型，Spark，数据库IABSTRACTABSTRACTAsnextgenerationofgeneralbigdatacomputingplatform,Sparkattractsmoreandmorerese