基于lsm模型本地海量数据磁盘索引系统设计和的研究

《基于lsm模型本地海量数据磁盘索引系统设计和的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、肿大学学位论文著作摊用声明一本人同意厦门大学根据《中华人民共和国学位条例暂行实施办法》等规定保留和使用此学位论文，并向主管部门或其指定机构送交学位论文(包括纸质版和电子版)，允许学位论文进入厦门大学图书馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。本学位论文属于：()1．经厦门大学保密委员会审查核定的保密学位论文，于年月日解密，解密后适用上述授权。()2．不保密，适用上述授权。(请在以上相应括号内打“√”或填上相应内容。保密学位论文应是已经厦门大学保密

2、委员会审定过的学位论文，未经厦门大学保密委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用上述授权。)声明人(签名)：橡熙j．o／岁年厂月2jEl摘要Web2．0时代的来临，向人们呈现了一个丰富多彩的英特网，同时也掀开了信息爆炸时代的序幕。海量数据的涌现不仅为英特网带来了无限可能，更对传统数据索引结构乃至整个计算机产业带来了巨大的挑战。伴随着对信息使用的深入，人们对通过更快、更有效的海量数据索引系统，充分利用海量信息的渴求日益强烈。本文试图通过对现有海量数据环境下磁盘索引系统的综合分析与研究，对设计并实现一种切实有效的海量数据索引方案进行尝试。从B树

3、这一传统索引系统的主要存储结构的分析人手，本文详细描述了其面对海量数据索引任务失效的原因，并以此为依据，讨论了LSM树和CO模型这两大主流海量数据索引方案在减少磁盘seek操作方面所做的努力。基于已有的分析结果，本文将LsM树方案配合以分治策略进行改进，以减小系统磁盘seek操作为具体目标，设计出了一种称为JBc_LSM的具体模型。同时充分利用计算机存储器层次结构理论，设计出了一种基于内存完成构建与更新的高密度磁盘索引结构Bc树，用以满足JBC-LSM的具体需求。通过将Bc树配合以高效的内存索引结构数字树，本文具体实现了一个基于JBc．LSM的海量数据索引系统，并针对海量数据索引任

4、务中最常见的系统建立、系统索引和系统更新三种操作，模拟现实环境，设计相应的实验，对JBc．LSM进行具体性能评估，同时对主流方案进行相同的实验实现性能对比。实验结果表明，在这三种常见操作任务中，相比于几种具体的主流方案实现，JBc．LSM在读写性能均获得一定的提升。在对实验结果的分析基础上，本文进一步讨论了产生结果的原因以及进一步扩展、提升mc．LSM的可能性与有效性。关键词：海量数据索引；B树；LSM树；CO模型；JBc．LSMAbstractThedawnoftheWeb2．0agepresentsacolorfulInternet，whichalsostartstheinfo

5、r-mationexplosionage．TheemergenceofbigdatabringsnotonlytheunlimitedposibilitytotheInternet，butalsohugechallengetOboththetraditionaldataindexingstructureandeventhewholecomputerindustry．Asthewayofusinginformationhasbeenadvanced，lotsofpeoplehaveastrongdesireofpromotionwithinformation．Thatinspirit

6、sthemtosearchforfasterandmoreefficientbigdataindexingsystems．Thispapertrytotakeanalysisresultsfrom+thecurrentbigdataindexingsystem，andthenfindoutanefficientbigdataindexingsolution．ThisthesisgoesintodetailsofB-Treeasthemainstoragecomponentfortraditionalin-dexingsystem，andanalyzesthemainreasonof

7、itsfailuretobigdataindexingtask．Exceptthat，thetwomaincurrentsolutionforbigdataindexing，theLSM-TreeandtheCOmodel，whichbothfocusonthedecreaseofdiskseekoperations，arethenintroducedhere．Ex-ceptanalyzingtOexistingachievements，thisthesisalsog