lsmq基于lsm-tree的持久消息队列系统设计与实现

《lsmq基于lsm-tree的持久消息队列系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201172374学校代码10487密级硕士学位论文LSMQ:基于LSM-Tree的持久消息队列系统设计与实现学位申请人：方波学科专业：计算机系统结构指导教师：施展副研究员答辩日期：2014年1月22日万方数据AThesisSubmittedtoAcademicEvaluationCommitteeofHuazhongUniversityofScienceandTechnologyfortheDegreeofMasterofEngineeringLSMQ：APersistenceMessageQueueBasedonLSM-TreeCandidate:

2、FangBoMajor:ComputerArchitectureSupervisor:A.P.ShiZhanHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaJan.2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日

3、期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在________年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学位论文摘要分布式应用程序为了降低模块相互之间的耦合程度以及更好的应对可扩展、可操作性的要

4、求，通常引入消息队列来降低模块之间的耦合和平衡各模块处理能力，消息队列允许分布式系统模块之间在保证遵守同样接口约束的前提下，独立的扩展和修改各自的处理过程。各模块对数据的处理能力不同，持久化消息队列能保证消息持久化到他们已经完全处理好，从而避免了数据丢失。消息队列解耦了处理过程，所以系统扩容时，各模块只需独立增加各自的处理能力即可，大大增强了分布式系统的可扩展性。在充分调研现有消息队列的基础上，发现现有的消息队列系统存在消息无法持久化、消息持久化和高吞吐量之间无法兼顾、单机容量有限等问题。LSM-Tree（Log-StructuredMergetree）是一个为了

5、提高B-树在更新插入数据时的性能而提出来的优秀算法，思想来源于日志文件系统，主要优点是在不牺牲查找效率的前提下，大幅度提升随机写、随机更新、删除效率。在研究了现有的几种消息队列的基础上，通过引入LSM-Tree结构，设计和实现了一个高吞吐量、消息堆积能力强的持久化消息队列LSMQ。结果显示，在单机容量、读写吞吐量方面，LSMQ表现均达到预期。测试结果表明，LSMQ读性能达到了12000条消息/秒，写性能达到了15000条消息/秒，略低于内存队列Redis，远远高于基于B+树的持久化消息队列ActiveMQ。在消息堆积能力方面，由于LSMQ轻量级的内存结构设计和基于

6、磁盘的存储结构，LSMQ可以在低内存占用的情况下，达到充分利用磁盘存储消息的目的。关键词：消息队列，持久化，LSM-Tree，存储模型I万方数据华中科技大学硕士学位论文AbstractDistributedapplicationsinordertoreducethedegreeofcouplingbetweeneachmoduleandbettercopewithscalability,operabilityrequirements,messagequeuesareusuallyintroducedtoreducethecouplingbetweenmodules

7、andbalanceprocessingcapabilitiesofeachmodule.Onthepremiseofimplementingthesameinterface,messagequeueallowdistributedsystemcomponentstoextenditsprocessingcapacityindependently.Persistencemessagequeuecanensurethatthemessageisnotlostuntilitisbeenconsumed.Decouplingthemessagequeueprocess,

8、sothe