分布式数据库Hbase快照的设计与实现.pdf

《分布式数据库Hbase快照的设计与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、ADisertationSubmitedtoZhejiangUniVersityfortheDegreeofMasterofEngineeringT工TLE：旦皇苎至g堡垒旦鱼王堡巳里皇望金旦主垒主至Q垒Q￡§旦坌卫逝至Q!旦至§主!至垫型主金鱼旦垒主垒坠璺§皇HBaseAuthor：．ChongxinLi——————————————-————————————一一SuperVisor：—迪b望Y垒旦gSubject：—羔；堑坚乜型主金!△乜Q里i鱼垒主iQ望!皇鱼b卫Q兰QgYC011ege：』塑Q坚主金!苎堡i金翌鱼金垒望鱼!金壁垒翌Q!Q盟SubmittedDate：2011．1．

2、15浙江大学硕士学位论文摘要随着计算机网络技术的迅速发展以及信息技术的深层次应用，计算机所存储的信息量呈爆炸式增长，云计算与分布式系统已经成为了大数据量处理的主要趋势。作为分布式系统的一种，分布式数据库为结构化的大数据提供了随机访问、实时读写的功能，相比于单机系统，它具有高性能、高可靠性、低成本以及易扩展的优点，因此在大型互联网公司中得到了广泛的应用。而另一方面，作为系统某一时刻的完全状态，快照是系统在正常运行的情况下，在非常短的时间内创建的完整并且一致的系统镜像。快照不仅为系统提供了瞬时备份与快速恢复的能力，而且还可以应用于负载均衡、系统测试等多种场景。目前大多数文件系统以及数据库中

3、都提供了快照功能，但是在分布式数据库中，快照并没有作为一种基本的功能予以实现。在深入了解分布式数据库实现原理的基础上，本文首次在分布式数据库HBase上设计并实现了数据表的快照功能，主要分析并解决了快照过程中消息传递机制、快照执行速度、系统锁与同步机制以及异常处理等关键问题。通过利用底层文件系统以及日志系统的特性，不仅使得快照的创建能够在较短的时间内完成，而且将快照所占用的存储空间以及对系统的影响降到了最低。同时，本文也设计并实现了快照的恢复及导入导出等相关功能，通过对快照的恢复，我们可以将一个数据表快速恢复到快照创建的时刻；而通过快照的导入导出，则为我们提供了一种分布式数据库在不停机

4、的状态下物理备份的手段，从而加快了分布式数据库备份的速度。在本文最后的测试结果与分析中我们也可以看出，HBase的快照能够快速的创建与恢复，基本达到了预期的功能。关键词：分布式数据库，HBase，快照，ZoOKeeper，恢复辫浙江人学硕十学位论文AbstractWiththeral)iddeVelopmentofinf．onnationtechn0109yandintemet印plications，theamoumofdatahasbeenshowingexplosiVegrowtllinrecentyears．C10udcomputinganddistributedsystemsh

5、aVebecomethem勾ortI．endtoprocessbigdata．Asoneoft11edistributedsystems，distributeddatabaseproVidesrandom，real—timeaccessforlarge趵nJcturedda_ta．Comparingwiths胁dalonesystem，distributedd撕basehastheadVaIltagesofhi曲pedbnnance，hi曲reliabili吼lowcostaJldeasyexpallsibili劬soithaSbeen淅delyusedinla玛eintemetapp

6、lications．浙江人学硕上学位论文目录摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．iAbstl．act⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯ii第1章绪论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯11．1本文研究背景与意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．11．1．1分布式数据库的优点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．11．1．2分布式数据库现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．21．1．3快照在分布式数据库中的意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．

7、41．2本文的研究工作⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．41．3本文的组织结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．51．4本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．6第2章快照的相关技术⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯72．1快照的基本概念⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．72．2LinuX文件系统的快照⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯82．2．1L