bigtable分布式存储系统的研究

《bigtable分布式存储系统的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、代号10701学号1101120353分类号TP333密级公开题（中、英文）目Bigtable分布式存储系统的研究StudyonBigtableDistributedStorageSystem作者姓名史晓丽指导教师姓名、职称樊凯副教授学科门类工学学科、专业通信与信息系统提交论文日期二零一四年一月万方数据万方数据西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果

2、；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切的法律责任。本人签名：日期:西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合学位论文研究课题再撰写

3、的文章一律署名单位为西安电子科技大学。（保密的论文在解密后遵守此规定）本学位论文属于保密，在年解密后适用本授权书。本人签名：日期:导师签名：日期:万方数据万方数据摘要云存储是云计算的核心内容，其市场潜力巨大。Bigtable分布式数据存储系统是Google为其内部海量的结构化数据开发的云存储技术，是Google的第三项云计算关键技术。Bigtable具有高可靠性、高性能、可伸缩等特性，是所有云时代分布式存储系统的开发蓝本。然而，Bigtable中仍存在许多亟待改进的地方。本文首先对Bigtable的实现细节进行具体的表述，并在深入了解Bigtable架构、逐步

4、剖析Bigtable实现细节的基础上，提出了Bigtable在批量插入、主服务器故障恢复、SSTable压缩机制、子表服务器重启、时间轴访问效率低和读操作延迟方面的问题。并在系统分析各个问题的产生原因之后，给出了这些问题可能的解决方案。对于每种方案，都通过仿真或性能分析，给出了新方案在解决Bigtable原有问题上的优势。本文针对Bigtable常规方法在批量插入时会导致子表频繁分裂的问题，给出了带预估期的批量插入方案。对于Bigtable主服务器重启操作流程复杂、资源和时间消耗多的问题，本文将检查点机制应用到主服务器的恢复中，给出了带检查点的主服务器恢复机制

5、。对于Bigtable原压缩机制对周期的选取要求较高的问题，给出了一种基于数量的压缩方案。对于Bigtable中子表服务器重启不能有效利用其本地磁盘上的SSTable文件，增加不必要的网络通信和数据传输的问题，本文给出了子表服务器初始化的新方案。对于Bigtable在时间轴上访问低效的问题，本文给出了带时间索引的SSTable设计。对于Bigtable中元操作延迟的问题，本文给出了让子表服务器一边从GFS上读取数据，一边与客户端通讯将数据返回给客户端的方案。关键词：Bigtable批量插入压缩主服务器子表服务器万方数据AbstractCloudstoragei

6、sancriticalpartofcloudcomputing,andithasahugemarket.AsGoogle’sthirdkeytechnologyusedincloudcomputing,Bigtableisadistributedstoragesystemformanagingstructureddata,whichisdesignedtoscaletoaverylargesize.Bigtablehassuccessfullyprovidedaflexible,scalability,high-performancesolutionforGo

7、ogle’sproducts,anditisthestandardmodelforalldistributedstoragesystemintheeraofcloudcomputing.However,there’sstillalotofroomforimprovementtechnically.TheimplementationandarchitectureofBigtablearedetailedinthispaper,andproblemssuchasbulkinsertion,Masterfailurerecovery,compressionmecha

8、nismofSSTable,Table