基于内存的分布式列式数据库查询优化

《基于内存的分布式列式数据库查询优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、４占外成＊葦ＹＯＦＥＬＥＮＣＥＡＮＤ巨ＣＨＮＯｔＯＧＹＯＦＣＨＩＮＡＵＮＩＣｓｃ，ＴＩＶＥＲＳＩＴＥＣＴＲＯＮ硕±学位论文！ＭＡＳＴＥＲＴＨＥＳＩＳ磯论支题目基于内存的分布式列式数据库查询优化学科专业计算机系统结构学号２０１３２１０６０１２７作者娃名曾禅楷独剑性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加标注和致谢的地方夕ｈ，论文中不包含其他人己经发表或撰写过的研究成果，也不包

2、含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。、Ｖ、ｔ作者签名：看辞游日期：年ｆ月化日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可将学位论文的全部或部分内容编入有关数据库进行检索，可Ｗ采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解

3、密后应遵守此规定）、作者签名Ｉ：章為携导师签名：妥屋ｒ日期：年月日分类号密级注1UDC学位论文基于内存的分布式列式数据库查询优化（题名和副题名）曾祥楷（作者姓名）指导教师邢建川副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机系统结构提交论文日期2016.3论文答辩日期2016.5学位授予单位和日期电子科技大学2016年6月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。AQUERYOPTIMIZERFORTHECOLUMN-ORIENTEDDISTRIBUTEDIN-M

4、EMORYDATABASESYSTEMAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerSystemArchitectureAuthor:ZengXiangKaiAdvisor:XingJianChuanSchool:SchoolofComputerScience&Engineering摘要摘要随着人们对数据查询、分析的要求越来越高，传统的基于磁盘的关系型数据库已不能完全满足要求，而内存因为其远高于磁盘

5、的访问速度，能极大降低数据的存取延迟而越来越多的被作为数据库的存储介质。而基于列优先的存储方式因为有更高的压缩率和在数据查询任务中更小的中间数据而被广泛应用在内存数据库中。本文针对内存存储与磁盘存储的不同，以及列优先存储和行优先存储的不同，设计了一套基于内存的分布式环境下的列式数据库上的查询优化方法，其中包括：1、将传统关系型数据库中的基于规则的查询优化与列式存储模式相结合，采用选择下推、条件化简等一系列操作对逻辑查询树进行有针对性的变形，使之具有更少的算子，并且在分布式环境下具有更小的数据传输量。2、对涉及到多表join的

6、查询，结合实际应用环境，采用非随机的分层动态规划算法计算最优的连接顺序，并在实现中提供良好的选择策略实现接口，使之在不同的应用环境下可以使用不同的算法提供更适合的join路径选择方案。3、在查询中结合数据片的存储位置、网络开销、节点负载等信息，综合计算预估多种查询方案的代价，分别采用贪心算法和遗传算法两种算法优化执行计划在分布式集群上的执行策略，提高查询的实时响应能力。通过在已有的内存数据库系统GoldFish上实现该查询优化模块，并对比spark-sql等已有开源分布式数据库系统，我们发现带有查询优化模块的GoldFish

7、系统在内存使用率，查询延迟等性能指标上均有很好的表现。关键词：内存数据库，查询优化，连接顺序，遗传算法，贪心算法IABSTRACTABSTRACTWiththeincreasingdemandofqueryingandanalyzingfordata,thetraditionalrelationaldatabasecouldnotsatisfytherequirementanymore.SincetheIOperformanceofmemoryisfarbeyondthedisk,byusingthememoryasthes

8、toragemediumwecansignificantlydecreasethelatencyofaccesstodatabase.Andthecolumn-orienteddatabasearchitectureshasbeenwildlyusedinIn-MemoryDatabase