基于hadoop的文件同步存储系统的设计与实现

《基于hadoop的文件同步存储系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级注1UDC学位论文基于Hadoop的文件同步存储系统的设计与实现（题名和副题名）刘文娟（作者姓名）指导教师姓名佘堃教授电子科技大学成都（职务、职称、学位、单位名称及地址）申请专业学位级别硕士专业名称计算机软件与理论论文提交日期2012.03论文答辩日期2012.05学位授予单位和日期电子科技大学答辩委员会主席评阅人年月日注1：注明《国际十进分类法UDC》的类万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科

2、技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：年月日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名：导师签名：日期：年月日万方数据摘要摘要云计算时代，随着网络终端设备的广泛使用以及互联网技术的进一

3、步普及，数据存储与备份技术已经与个人生活及组织的运作息息相关，企业与个人均面临着海量数据的管理难题。云存储及其相关技术的发展给数据存储领域带来了革新。基于云存储的在线存储系统能够向用户提供永久的，存储空间可扩展的，便捷的，价格低廉的数据存储与备份服务。当前国内比较成熟的存储服务产品有金山快盘、华为网盘等。它们都提供了稳定的数据存储、文件同步功能，但也存在一些问题。首先，客户端提供的文件系统监控功能不够完善；其次，文件的数据同步效率在某些情况下较低；此外，有些产品没有提供数据的安全传输功能，也没有提供对多种同步事件的分类数据传输功能；最后，现有产品尚未提供客户端与服务器

4、数据的加密存储功能。支撑数据存储的云存储平台的优化也是提供基于云存储的数据同步存储服务厂商应该努力解决的问题。本文从在线同步存储服务使用者的角度出发，总结了当前同步存储服务产品的主要功能以及存在的一些问题，从需求与问题出发，深入研究了实现基于云存储的文件同步存储系统的关键技术，设计并实现了一种基于hadoop搭建的云存储后台，使用了Rsync同步算法的文件同步存储系统。论文的主要工作包括：分析国内外同类产品的优缺点，明确系统用户的需求；利用开源的jpathwatch类库实时监控系统客户端虚拟磁盘的更新变化，实现了不同类型同步事件的实时触发和通知功能，添加了对文件移动和

5、文件重命名的监控；通过对同步事件的分类，实现了不同事件的分类化处理，特别是文件内容更新和续传事件，设计了一种基于Rsync算法的同步协议来减少通信双方的数据传输量，改进了同步效率；针对不同的同步任务，设计了最佳的数据传输方式，使用HTTPS实现数据的加密传输；使用了基于Hadoop的云存储后台存储数据。本文采用分层模块化的方法对系统进行设计与实现，并且在论文的最后两个章节对系统的功能模块进行了测试与分析，总结了研究成果和系统的可扩展功能，最后展望了下一步工作。关键词：Hadoop，文件同步，文件系统监控，Rsync算法I万方数据ABSTRACTABSTRACTAtth

6、eCloudcomputingtimes,thetechnologyofdatastorageandbackuphasbeencloselyrelatedtothelivesofindividualsandorganizations.Theyarefacingtheproblemofthemanagementofmassivedata.Thedevelopmentofcloudstorageanditsrelatedtechnologieshavebroughtaninnovationtothefieldofdatastorage.Onlinestoragesyste

7、mwhichusescloudstoragetechnologycanprovideapermanent,convenient,inexpensivestorageservicewithscalablestoragespace.Currently,thematureproductsinchinaareJinshanfastdisk、Huaweinetworkdiskandsoon.Theyprovidestablefunctions,forexample,thefunctionsfordatastorage,filesynchronization.B