多核CPU上数据库散列连接算法的研究与实现

《多核CPU上数据库散列连接算法的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、多核CPU上数据库散列连接算法的研究与实现作者姓名王梓导师姓名、职称刘志镜教授一级学科计算机科学与技术二级学科计算机应用技术申请学位类别工学硕士提交学位论文日期2014年11月学校代码10701学号1203121682分类TN82号TN301.6密级公开西安电子科技大学硕士学位论文多核CPU上数据库散列连接算法的研究与实现作者姓名：王梓一级学科：计算机科学与技术科：二级学科：计算机应用技术学位类别：工学硕士指导教师姓名、职称：刘志镜教授提交日期：2014年11月ResearchandRealizationofDatab

2、aseHashJoinAlgorithmonMulti-CoreCPUsAthesissubmittedtoXIDIANUNIVERSITYinpartialfulfillmentoftherequirementsforthedegreeofMasterinComputerScienceandTechnologyByWangziSupervisor:Prof.LiuZhijingDecember2014西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指

3、导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切的法律责任。本人签名：日期：西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学

4、。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。（保密的论文在解密后遵守此规定）本学位论文属于保密，在年解密后适用本授权书。本人签名：导师签名：日期：日期：摘要摘要近年来，随着多核CPU硬件体系结构的普及与SMT同步多线程技术的发展和成熟，多核CPU以其强大的并行计算能力越来越成为研究领域中的热点。人们已经开始研究使用多核CPU对多种数据操作进行并行加速

5、，其中在数据库操作中最常用、最耗时的连接操作成为人们研究的重点。在关系型数据库中，连接操作是实现关系型数据库中查询的重要操作之一，它通过对两个关系做笛卡尔积运算实现对这两个关系的信息检索。连接操作是唯一能从不同的关系之间组合出新的关系元组的关系代数操作，同时也是最难找出高效实现方法的操作之一，因为不能预先确定哪些关系之间的连接是需要存在的，而且这还会和网络及分布式系统有关，因为可能不是所有的关系表都是存放在一起的。由此可见，连接操作的代价高低与数据库的性能优劣息息相关。基本的数据库连接操作实现算法主要有：嵌套循环连接，

6、排序合并连接和散列连接等，其中散列连接算法以及优异的性能而被广泛地应用于数据库管理系统。多核并行技术的发展使得这些连接算法的许多变种被提出。它们充分利用多核并行技术和最新的硬件体系结构来获得更好的性能。这些研究表明，硬件体系结构对连接算法的性能有很大的影响。此外，内存访问也是制约连接算法性能的另一个重要影响因素。本文对几种数据库连接操作实现算法进行了系统的研究，重点关注散列连接算法，结合多核CPU硬件结构和内存局部性原理提出了对应的并行连接优化算法，所取得的主要研究成果为：1、针对多核CPU平台提出了一种基于MapRe

7、duce模型的并行散列连接算法。通过MapReduce模型实现自动化的线程调度、任务分配管理、负载均衡控制和错误纠正功能，结合利用内存局部性原理提出的任务划分策略，增加了内存的命中率，提高了内存的页面替换效率，从而进一步优化了散列连接操作的性能。2、针对内存延迟、数据偏移和内存压力造成的性能瓶颈问题提出了三种优化策略，实验结果表明，这三种策略取得了预期的效果，较好地解决了存在的问题。实验结果表明本文实现的并行散列连接算法，在多核CPU硬件结构上比传统的连接算法有着大幅的性能提升，同时利用MapReduce模型的特性，结

8、合提出的三个优化策略，跟已有的同类并行散列连接算法相比也有着良好的表现，能够较好地应用于多核CPU硬件结构下的数据库连接操作中。关键词：多核CPU，并行处理技术，数据库连接操作，并行散列连接算法论文类型：应用基础研究类I西安电子科技大学硕士学位论文IIABSTRACTABSTRACTRecently,withthepopulari