面向流式处理的sql查询计划生成技术研究

《面向流式处理的sql查询计划生成技术研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、分类号学校代码10487学号M200972541密级硕士学位论文面向流式处理的SQL查询计划生成技术研究学位申请人：刘述曦学科专业：信息安全指导教师：邹德清教授答辩日期：2012年1月15日AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringStream-OrientedProcessingofSQLQueryPlanGenerationTechnologyResearchCandidate:LiuShuxiMajor:Informati

2、onSecuritySupervisor:Prof.ZouDeqingHuazhongUniversityofScience&TechnologyWuhan430074，P.R.ChinaJanuary,2012独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完

3、全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于保密□，在年解密后适用本授权书。不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要近几年，互联网行业由于Web2.0时代的到来，需要存储和处理的数据正在呈爆炸式的增长。随着数据规模的增大，传统的并行数据库已无法

4、满足现在数据处理的需要，而Hadoop适合大规模的数据处理。在基于MapReduce的分布式数据库系统中，针对SQL查询计划生成方法，现有技术方案在异构环境下可用性不强，不能支持流式处理，缺乏高效的查询分析处理引擎，不能快速的生成SQL查询计划。面向流式数据处理的SQL查询计划生成技术能有效地解决上述问题，该技术采用一套高效的查询分析处理引擎，这套高效的查询分析引擎包括预处理部件、解析部件、优化部件和执行部件等，并使用MapReduce-Online流式处理机制，采用管道技术提高并行度和处理效率，同时利用连续查询处理技术将连续查询任务转换成流式查询任务，使用面向流式

5、处理的查询解析技术解析SQL查询任务，在产生查询计划的过程中利用基于成本而不使用基于规则的优化技术，允许用户自定义分区策略，实现了快速的生成SQL查询计划，支持连续查询处理，并支持多种SQL查询命令，从而极大的提高了效率。通过开发了基于MapReduce的关系数据联机分析系统Alovera，在相同的数据集和测试环境对Alovera系统与HadoopDB系统、Hive系统的性能进行了比较，Alovera系统执行选择、聚集和连接操作的平均查询性能是Hive的7.21倍，HadoopDB的3.18倍。实验结果证明，该技术可以更加灵活的产生SQL查询计划和处理数据的多样性。

6、关键词：流式处理，查询分析处理引擎，关系数据，连续查询I华中科技大学硕士学位论文AbstractInrecentyears,theInternetindustryneedstostoreandprocessmoreandmoredatasincetheadventofWeb2.0era.Asdatasizeincreases,thetraditionalparalleldatabasehasbeenunabletomeetcurrentneedsandHadoopissuitableforlagrescaledataprocessing.AgainstSQLquer

7、yplangenerationmethodinthedistributeddatabasesystembasedonMapReduce,theexistingtechnologyusesarule-basedoptimizationtechniqueandcannotaffordintheheterogeneousenvironment.Inabletoovercometheaboveproblems,weusethestream-orienteddataprocessingoftheSQLqueryplangenerationmethod.Themethodu