基于hbase的sql转化引擎研究

《基于hbase的sql转化引擎研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERTHESIS论文题目基于HBase的SQL转化引擎研究学科专业计算机系统结构学号201120160258作者姓名唐韬指导教师汤羽教授分类号密级注1UDC学位论文基于HBase的SQL转化引擎研究（题名和副题名）唐韬（作者姓名）指导教师汤羽教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机系统结构提交论文日期2014.3论文答辩日期2014.5学位授予单位和日期电

2、子科技大学2014年6月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。RESEACHONSQLCONVERSIONENGINEBASEDONHBASEAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerArchitectureAuthor:TangTaoAdvisor:Prof.TangYuSchool:SchoolofComputerScience&Engineering独创性声

3、明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文

4、的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日摘要摘要互联网和移动通信的出现，是信息化高速发展的结果。互联网和移动通信逐渐成为人们最主要的交流沟通工具。信息化的世界需要大数据的支持，大数据的出现又使得关系型数据库暴露出了种种的不足，这使得关系型数据库的统治地位岌岌可危。在此背景下，NoSQL数据库孕育而生，NoSQL数据库产品犹如雨后春笋般蓬勃发展。这些数据库的最大特点就是能够进行GB级别到TB级别的

5、数据处理。其中，HBase备受关注。然而，为了使得数据库能够支持大数据的处理和非结构化数据，NoSQL数据库放弃了关系型数据库强制的事务完整性，二级索引机制和SQL语句作为输入的查询操作。随着HBase的流行，人们开始着手为HBase实现一个支持SQL的转化层，以降低对HBase使用的学习难度。本文开篇对本论文撰写的研究背景和意义进行了阐述，说明了设计和实现一个基于HBase的SQL转化引擎的重要性。然后，用一章的内容对SQL转化引擎相关的背景知识进行了介绍，主要包括对Hadoop的概念和架构的介绍；对HBase整体

6、设计介绍和HBase与传统关系型数据库对比分析；以及对ANTLR这个解析工具的工作流程和作用进行了详细的说明介绍。接下来，是对SQL转化引擎系统设计架构的介绍，分层介绍了SQL解析层、SQL分析层、SQL-HBase转化层以及HBaseAPI调用层。接着，是对SQL转化引擎的系统实现进行了充分的讨论，说明了各个部分实现的原理和关键技术。需要补充的是，系统实现利用了HBase现有的大部分接口和协处理器框架来完成传统关系型数据库的查询和聚合。文章最后也对SQL转化引擎的效果进行了通过性测试和时间性能测试。综上所述，本论文

7、提出了设计一个基于HBase的SQL转化引擎，使得HBase能接收SQL语句作来操纵HBase的设想变为现实。通过ANTLR对SQL语句进行解析，对解析的结果进行对象化封装并对参数进行遍历访问求解出需要查找的列和行，再调用了经过封装的HBaseAPI类方法来返回结果，实现了一个可用的，简单的SQL转化引擎。本论文也是对HBase扩展开发的一个新的尝试，对于普及HBase做出了一定的贡献。本论文中得到的结论和观点也是有利于后来人对HBase研究和理解。论文最后讨论的SQL转化引擎不足，以及未来需要进行的工作。关键词：H

8、Base，ANTLR，SQL，转化引擎IABSTRACTABSTRACTTherapiddevelopmentofinformalizationleadstotheemergenceoftheInternetandmobilecommunications.Bothofthemaregraduallybecomingthemostimportan