key-value store读写性能研究与优化

《key-value store读写性能研究与优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文Key-ValueStore读写性能研究与优化ResearchandOptimizationofKey-ValueStoreReadandWritePerformance作者：叶枫导师：夏阳教授中国矿业大学二○一六年六月中图分类号TP311学校代码10290UDC密级公开中国矿业大学硕士学位论文Key-ValueStore读写性能研究与优化ResearchandOptimizationofKey-ValueStoreReadandWritePerformance作者叶枫导师夏阳申请学位工学硕士学位培养单位计算机科学与技术学院学科专业计算

2、机系统结构研究方向数据库技术答辩委员会主席评阅人二○一六年六月论文审阅认定书研究生叶枫在规定的学习年限内，按照研究生培养方案的要求，完成了研究生课程的学习，成绩合格；在我的指导下完成本学位论文,经审阅，论文中的观点、数据、表述和结构为我所认同，论文撰写格式符合学校的相关规定，同意将本论文作为学位申请论文送专家评审。导师签字：年月日致谢本文是在导师夏阳教授的悉心指导下完成的，从开题、资料整理、理论研究到实验和论文写作，夏老师都给与了耐心的指导和细心的帮助，论文的顺利完成离不开夏老师的大力支持。论文完成之后，夏老师又字字斟酌，不厌其烦的帮助我修改论文。

3、三年的学习时间其实非常短暂，但是夏老师优秀的做人品质，严谨的治学态度，开拓创新的精神，高屋建瓴把握全局的能力都使我受益匪浅。在学术上谨遵夏老师教诲，严格要求自己，争取在学术上有更多的突破。在生活上，学习夏老师丰富的生活哲学，亦是我这三年来一笔宝贵的财富。在此，谨向我的恩师夏阳教授致以最崇高的敬意和最衷心的感谢。感谢已经毕业的王凯、孙研博等师兄师姐以及朱云超和申朝祥两位同门同学，你们曾经的陪伴和帮助给了我一个快乐的研究生生涯。感谢王晓蕊、王振、任远和张义龙等师弟师妹，你们为我的研究生生活带来了不一样的色彩，带给我很多难以忘怀的美好记忆。感谢师弟陈超和

4、张兵兵在我找工作期间的帮助和陪伴，谢谢你们帮我找到了一份满意的工作。感谢师弟刘泽宇和师妹江慧芳在学分审核期间的帮助，谢谢你们一直以来的关怀。特别感谢我的同门同学兼室友蔡达同学，你不但陪着我度过了完整的三年研究生生涯，而且在我写论文期间不惜牺牲自己的时间帮助我完成实验，从你身上我不仅学习到了很多专业技能，还学到了乐于助人的精神。感谢我的室友韩刚、梁宁和童为为，你们的陪伴给我留下了很多美好的回忆。再次感谢我的师兄师姐、师弟师妹和同门同学们，能和你们同在夏阳老师门下学习和生活是我今生最大的荣幸！感谢计算机学院硕士2013级所有的同学在这三年中给予我的关心

5、和帮助。感谢父母和妹妹一直以来对我无微不至的关怀、信任、鼓励和支持。你们是我最强大的后盾，给我前进的勇气和力量。在此，我向我的家人致以最诚挚的谢意！最后，向所有曾经帮助过我的老师、同学和朋友们表示深深的感谢！摘要存储引擎是存储系统的核心，存储系统的读写性能取决于存储引擎的性能。本文的研究以当前Key-ValueStore的两大主流存储引擎LSM-Tree存储引擎和哈希存储引擎为主，详细分析了传统LSM-Tree结构以及哈希存储结构代表性系统的读写特性。LSM-Tree的特点是顺序写入而哈希存储引擎则侧重内存索引的效率。经过对比分析之后，借鉴两大存储

6、引擎在索引和硬盘存储上的思想特点，本文以LevelDB的结构为原型，提出sLSM-Tree结构(Segmented-IndexbasedLSM-Tree，基于分段式索引的LSM-Tree结构)。1)在该存储结构的内存索引部分引入分段式索引结构解决为LSM-Tree加入哈希存储内存索引结构所带来的冲突，即通过分段式引入前缀树索引和哈希映射索引的方式提高索引速度，在避免数据读取时逐层索引的同时，降低了因写入时压缩合并操作带来的物理地址变更频繁造成的性能压力。2)在内存中为了进一步提高对Key的查询效率，本文在传统布鲁姆过滤器算法的基础上结合内存索引结构

7、，提出了动态阵列式布鲁姆过滤器的优化，即通过动态设置布鲁姆过滤器阵列的分组因子降低整个阵列的读写时间。持久化结构依然采用Append-Only的日志结构以维持LSM-Tree原有的高速顺序写的优势。基于Flash的固态硬盘(SolidStateDrive，SSD)能够提供很高的读写性能。但是，传统LSM-Tree的压缩合并操作是针对机械硬盘的，本文针对SSD的结构和特性对SSD的压缩合并操作进行了相应的优化。针对本文提出的分段式索引新方法和动态阵列式布鲁姆过滤器优化分别进行了对比实验，从实验结果分析，与采用传统LSM-Tree存储引擎的LevelD

8、B相比，sLSM-Tree提高了内存索引和硬盘读写性能。最后，通过对实验数据进一步的整理和分析，讨论了sLSM-Tree进