基于mapreduce的查询处理与优化技术研究

《基于mapreduce的查询处理与优化技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文基于MapReduce的查询处理与优化技术研究作者姓名：丁琳琳指导教师：王国仁教授东北大学信息科学与工程学院计算机系统研究所申请学位级别：博士学科类别：工学学科专业名称：计算机系统结构论文提交日期：2013年月日论文答辩日期：2013年10月13日学位授予日期：答懒会主席栾贵兴评阅人：I中缅B黎聚氓东北大学2013年10月万方数据ADissertationfortheDegreeofDoctorinComputerSoftwareandTheoryStudiesonQueryProce

2、ssingandOptimizationTechniquesBasedonMapReducebyDingLinlinSupervisor：ProfessorWangGuorenNortheasternUniversityOctober2013万方数据独创性声明}IMJ1)lllIMII))lllllllJJl))lllllllJ)lllJiljY2996148本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学

3、位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名：J淋葫0日期：≥DJ弓．／0，矽学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口两年口学位论文作者签名：j蛛菇k导师签名：、J’l’I签字日

4、期：加”，胗。J弓签字日期：爨万方数据一II—万方数据东北大学博士学位论文摘要基于MapReduce的查询处理与优化技术研究摘要近年来，随着计算机技术和信息技术的迅速发展，互联网中的数据信息呈现“滚雪球”式的增长。面对如此庞大的信息海洋，如何高效地处理和分析这些海量数据，并从中获取用户感兴趣的信息已经成为工业界和学术界共同关心的课题。关于海量数据的查询处理与优化技术也逐渐成为数据库领域新的研究热点，特别是在MapReduce框架下的查询处理与优化问题更是受到了广泛的关注，并且具有深远的理论研究意义和重要的实际应用价值

5、。本文详细而深入地分析和研究了MapReduce框架下的海量数据查询处理与优化问题，提升了MapReduce框架的处理能力，提高了top．k、kNN、Skyline、连接等查询的处理性能。本文的贡献点可概括如下：(1)提出了一个具有轻量级通信功能的MapReduce框架一ComMapReduce，提高了现有MapReduce框架的处理性能。ComMapReduce框架通过增加轻量级的通信功能产生共享信息，通过获取共享信息，ComMapReduce框架能够有效地过滤Map阶段的无用数据，从而减少Reduce阶段的输入数

6、据量，在不影响MapReduce框架基本特性的前提下，大幅度地提升了MapReduce框架的性能。(2)针对Skyline查询，首先，提出了在MapReduce框架下的Skyline查询处理算法。其次，利用Skyline查询结果的数量往往小于原始数据量的特点，提出了在ComMapReduce框架下的Skyline查询处理算法，能够有效地过滤部分不能成为查询结果的数据对象，减少Map任务的输出，使得在有效地处理Skyline查询的同时也提高了算法的执行效率，降低了网络开销。最后，提出了优化Skyline查询处理算法，进

7、一步地提高了在MapReduce和ComMapReduce框架下Skyline查询的处理性能。(3)针对不确定数据的概率Skyline查询，首先，分析和总结了概率Skyline查询的特点和性质。其次，提出了filter．呦规g两阶段的处理方法，将不可分解的概率Skyline查询转换成了两个可分解的问题，分别是求解全局候选集和影响集的问题和计算最终概率Skyline结果的问题。其中，filter阶段获得全局候选集和影响集，refine阶段利用全局候选集和影响集求得最终的概率Skyline查询结果。最后，提出了在MapR

8、educe框架和ComMapReduce框架下的filter-refine概率Skyline查询一III—万方数据东北大学博士学位论文摘要处理算法。通过有效地运用ComMapReduce框架的通信策略，过滤部分无用的中间结果，提高了不确定数据概率Skyline查询的处理性能。(4)针对连接查询，首先，深入地分析和研究了在MapReduce框架下