MapReduce模型下基于SR树的Reverse Skyline查询算法研究

《MapReduce模型下基于SR树的Reverse Skyline查询算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP39单位代码：10183Ma研究生学号：2015534025密级：公开pReduce模型下基于SR树吉林大学的Rever硕士学位论文seSky（专业学位）line查询算法MapReduce模型下基于SR树的ReverseSkyline查询算法研究研究ResearchonReverseSkylineQueryAlgorithmBasedonSRTreeunderMapReduceModel韩来鹏作者姓名：韩来鹏类别：工程硕士领域（方向）：计算机技术指导教师：黄岚教授培养单位：计算机科学与技术学

2、院吉林大学2018年4月MapReduce模型下基于SR树的ReverseSkyline查询算法研究ResearchonReverseSkylineQueryAlgorithmBasedonSRTreeunderMapReduceModel作者姓名：韩来鹏领域（方向）：计算机技术指导教师：黄岚教授类别：工程硕士答辩日期：年月日未经本论文作者的书面授权，依法收存和保管本论文书面版本、电子版本的任何单位和个人，均不得对本论文的全部或部分内容进行任何形式的复制、修改、发行、出租、改编等有碍作者著作权的商业性使

3、用（但纯学术性使用不在此限）。否则，应承担侵权的法律责任。吉林大学硕士学位论文原创性声明本人郑重声明：所呈交的硕士学位论文，是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：2018年月日《中国优秀博硕士学位论文全文数据库》投稿声明研究生院：本人同意《中国优秀博硕士学位论文全文数据库》

4、出版章程的内容，愿意将本人的学位论文委托研究生院向中国学术期刊（光盘版）电子杂志社的《中国优秀博硕士学位论文全文数据库》投稿，希望《中国优秀博硕士学位论文全文数据库》给予出版，并同意在《中国博硕士学位论文评价数据库》和CNKI系列数据库中使用，同意按章程规定享受相关权益。论文级别：■硕士□博士学科专业：计算机技术论文题目：MapReduce模型下基于SR树的ReverseSkyline查询算法研究作者签名：指导教师签名：2018年月日作者联系地址（邮编）：吉林大学计算机科学与技术学院130012作者联系

5、电话：17843108500摘要摘要MapReduce模型下基于SR树的ReverseSkyline查询算法研究近年来随着科技的进步与发展，数据量成爆发式的增长，传统的数据库以及传统的计算方式受到了巨大的挑战。传统的数据库已经无法满足海量数据的便捷存储，传统的计算方式也无法满足海量数据的实时处理。在数据检索以及推荐策略领域，ReverseSkyline查询算法以及相关算法一直是研究热点，主要用于多目标决策问题。但是随着数据量的急剧增长，传统的算法流程已经无法满足实时性、高效性、稳定性等方面的需求。传统算

6、法如何在海量的数据环境中高效率、低延迟、高精度的检索出有效的数据，这是亟待解决的问题。分布式架构的提出，使海量数据处理并行化成为可能。分布式架构Hadoop是处理静态高吞吐量数据最有效的架构之一。其中HDFS针对海量数据的存储问题采用高容错的分布式存储模式，针对数据的管理则采用了典型的主从模式；MapReduce设计模式将计算拆分成键值对的形式，同时改变了传统的数据读取到计算模块的传统计算方式，使计算去寻找要处理的数据，减少了IO操作并实现了大规模海量数据的并行处理。虽然分布式架构能对海量数据进行并行处

7、理，但是传统的基于MapReduce的ReverseSkyline算法仍还存在一些不足。传统的ReverseSkyline算法虽然实现了并行操作，但是如果每次查询的时候对所有数据进行一次遍历，那么会造成很大的开销，导致查询效率低下，同时造成计算资源极大的浪费，所以索引的建立是很有必要的。传统的ReverseSkyline查询算法由于查询条件的变化和查询位置的不同导致在不同的情况下并不能很好的复用索引结构，同时剪枝的效率也受到了一定的限制。那么如何有效的改进传统的ReverseSkyline算法与索引结合

8、并实现最大程度上的剪枝是提升查询效率的关键所在。本文根据传统的ReverseSkyline查询算法的特性以及加速海量数据处理的方式，对传统的ReverseSkyline查询算法进行改进并提出MRRSL算法（基于MapReduce的ReverseSkyline查询算法）。基于索引机制，为了加快查询速度，提高查询效率，细化剪枝粒度，本文定义了过滤集，其中过滤集包括候选过滤集I摘要和判断过滤集，利用过滤集中的数据在索引中进行剪枝，极大的提高了计算