分布式结构化存储系统元数据管理模块设计与实现

《分布式结构化存储系统元数据管理模块设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA专业学位硕士学位论文MASTERTHESISFORPROFESSIONALDEGREE（电子科技大学图标）论文题目分布式结构化存储系统元数据管理模块设计与实现专业学位类别工程硕士学号201122060527作者姓名苏东指导教师段翰聪副教授分类号密级注1UDC学位论文分布式结构化存储系统元数据管理模块 设计与实现（题名和副题名）苏东（作者姓名）指导教师段翰聪副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士专业学位

2、类别工程硕士工程领域名称计算机技术提交论文日期2014.3.24论文答辩日期2014.5.22学位授予单位和日期电子科技大学2014年6月29日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。THEDESIGNANDIMPLEMENTATIONOFADISTRIBUTEDSTRUCTUREDSTORAGE METADATAMANAGEMENTMODULEAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:Compu

3、terTechnologyAuthor:SuDongAdvisor:DuanHancongSchoolofComputerScience&School:Engineering独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论

4、文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日IV摘要摘要在大数据时代，数据存储提出了许多新的需求，传统的基于关系的数据库存储系统已经不能满足这些需求。本文在研究和分析了现有的典型结构化存储系统的基础上，设计并实现了一个面向POI的，具有高可靠性的分布式

5、结构化存储系统CBase。在CBase存储系统中，POI信息被分布式存储在不同的存储节点上，元数据信息指的是POI信息到存储节点的映射关系。元数据管理模块是CBase存储系统中的一个模块，主要功能是管理CBase存储系统的元数据信息，是本人在项目中的主要负责的模块。元数据管理模块的主要工作和特色如下：1.元数据管理的优化。设计并实现了一个基于R-tree的元数据管理模块，采用写入操作日志的方式，把对元数据操作时可能产生的大量随机I/O转化为顺序I/O，提高系统的吞吐率；2.元数据的容错性设计。为了保证元数据的可靠性，实现了一个基于P

6、axos算法的一致性协议，对元数据副本进行同步，并针对基本Paxos算法的缺点，设计了Leader租约机制，大量减少了数据同步过程中产生的网络通信。3.快速的故障恢复。系统通过将元数据的操作写入日志文件中，并周期性对元数据进行快照的机制，在系统宕机后，能够使用快照和操作日志快速地恢复系统的元数据。4.海量并发的支持。利用Linux下提供的epoll机制，设计并实现一个高性能的网络编程框架，该框架可以支持海量的并发访问，为IS的各个业务流程提供编程支持。关键词：Paxos算法，副本，结构化存储，R-treeIABSTRACTABSTR

7、ACTIntheeraofbigdata,manynewrequirementsarecomingwithdatastorageflourishing.Thetraditionalrelationaldatabasecannotmeetthesedemandsanymore.Basedontheresearchandanalysisoftypicalstructuredstoragesystems,weproposedaPOIorienteddistributedstructuredstoragesystemnamed“CBase”

8、.POIinformationisstoredinmanystoragenodesinCBase.MetadatainformationbindsPOIinformationtothestoragenodes.Metadatamana