低时延网盘同步系统的设计与实现.pdf

《低时延网盘同步系统的设计与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、小型微型计算机系统2014年7月第7期JournalofChineseComputerSystemsVOl_35No．72014低时延网盘同步系统的设计与实现周景才，张沪寅(武汉大学计算机学院，武汉400047)E—mail：68209669@qq．tom摘要：随着云存储技术的迅速发展，越来越多的用户选择用网盘来存储个人信息．但受ADSL技术的限制，网络上传速度往往要远低于下载的速度，严重制约了网盘同步文件到服务器端的性能，影响网盘用户的体验．针对该问题，提出了低时延网盘同步系统(L2NDUS)．该系统自动将网盘服务器端的数据切割成一定大小的数据块，并通过SHA．1算法为

2、每块数据计算指纹．在客户端同步文件到服务器之前，系统先比对本地文件的数据块指纹是否已经在服务器端的指纹库中存在，如果存在则不上传该数据块，从而达到降低系统同步时延的目标．测试实验表明，随着本地同步次数的增加，系统同步时延显著下降．特别是在移动设备的通讯录同步应用中，与传统系统相比L2NDUS系统可以算短8O％的时延．关键词：云存储；网盘；文件自动同步；数据指纹；重删中图分类号：TP393文献标识码：A文章编号：1000—1220(2014】07．1515-03DesignandImplementationofLowLatencyNet-diskUploadingSyste

3、mZHOUJing—cai，ZHANGHu‘yin(SchoolofComputer，WuhanUniversity。Wuhan400047，China)Abstract：Withthequicklydevelopmentofcloudstoragetechnology，moreandmorepeopleusenet—disktOstorepersonalinforma-tion．ButwiththelimitingofADSLtechnology，ouruploadingspeedofnetworkislowerthandownloadingspeedactuallya

4、nditmakethelatencyofuploadingfileofnet-diskbecomeverylong．Forsolvingthisproblem。wedesignanlowlatencynet·diskupload—ingsystem．Thissystemwillautomaticallycutthedataintofix—sizechunksandgetitfingerprintbySHA-1．Beforefilesbetransmit—tedtoserver，clientprogramwillidentifytheexisteddataanddonttr

5、ansmitthosedataforshortedtheuploadinglatency．Theexperi—meritresultshowthatthelatencydropdramaticallywitllthetimesaddedofuploading．Inmobilesystem。L2NDUSCangetabetterimproving。itCancutdownmorethan80％latencythentraditionalsystem．Keywords：cloudstorage；net-disk；fileuploadingautomatically；dataf

6、ingerprint；datadeduplication1引言归档存储系统中的重复数据比例更是高达80％～90％，而且随着时间的推移重复比例不断提升．文献[3—12]也从多个角随着云存储的迅速发展，面向大众的网盘产品也越来越度论述了文件系统中存在大量重复数据这一事实，并试图通丰富如：DropbOX、GoogleDrive、SkyDrive、阿里云、盛大云等．过不同的方法去消除重复数据的存储．实验结果表明通过一也吸引了越来越多的用户选择用网盘来存储个人信息．网盘定的技术手段消除重复数据的存储可以减少存储阵列的容量客户端则是用来协助用户上传、下载和同步本地文件到服务需求．但是

7、，现有的重复数据删除技术却无法直接应用在网盘器端的专业工具．当客户需要同步本地文件到服务器端时，客中．如文献[6-12]中所描述的各类重复数据删除系统架构一户端会自动地将整个本地文件通过标准接口协议上传到服务样，现有的重删系统都是在一个封闭的、非移动的系统内实器．而在现实场景中，需要同步到服务器端的文件经常与服务现．因此，客户端和服务器端都是固定不变的，不需要考虑隐器端已经存在的文件只存在部分差异，如果整文件同步上传私问题，客户端也可以直接获取指纹库中的指纹数据．但在云将造成大量带宽浪费．特别是在当前ADSL技术中，上传带宽存