基于分布式的海量图片数据存储系统的研究与设计

《基于分布式的海量图片数据存储系统的研究与设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP391学校代码10590UDC004密级公开深圳大学硕士学位论文基于分布式的海量图片数据存储系统的研究与设计刘松学位类别工程硕士专业学位专业名称计算机技术学院（系、所）计算机与软件学院指导教师陈剑勇教授原创性声明本人郑重声明：所呈交的学位论文基于分布式的海量图片数据存储系统的研究与设计是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明

2、的法律结果由本人承担。论文作者签名：日期：年月日基于分布式的海量图片数据存储系统的研究与设计摘要随着互联网的迅速发展以及信息资源的丰富拓展,各行各业每天都会产生海量的原始数据。其中以图片等形式出现的资源迅速增长，因此怎样来管理和存储这些信息资源变得越来越困难。在信息呈现爆炸式增长的互联网时代下，传统的文件存储方式已不能够满足处理时间和储存空间的要求。高性能的分布式文件系统则成为相关领域研究的热点。本文在分析比较了国内外的分布式文件存储系统之后，选定了FastDFS作为存储系统。FastDFS是一个开

3、源的轻量级分布式文件系统，它解决了大量数据存储和负载均衡等问题。FastDFS的分组方式和文件命名方式的机制使得自身具有轻量级、高扩展性和易用性等优点。FastDFS是基于开源的分布式文件系统，本文针对企业需求量身定制了一款基于分布式的图片数据处理系统。主要做了如下工作：本文的第一个工作是改进了FastDFS分布式文件系统中存储服务器同步机制，由原来的根据binlog定时同步更新优化为上传文件的同时进行文件的同步更新。本文的第二个工作是改进了FastDFS分布式文件系统的负载均衡算法，将考虑因子由总

4、存储空间变成存储空间利用率、连接数和性能三个因子。实验在三种情况下进行，一种是仅考虑存储空间利用率的情况，第二种是考虑存储空间利用率和连接数的情况，第三种是考虑存储空间利用率、连接数和性能的情况。通过实验结果对比三种情况的负载不均衡度，发现改进后的负载均衡算法比原算法负载均衡效果更佳。本文的第三个工作是将FastDFS应用于图片数据处理系统中，使得系统对海量文件管理更加高效、有效的检测和消除系统中的重复数据。文章从系统架构的设计与实现等方面介绍了该图片数据系统。通过模拟实际环境测试，该系统能够很好地

5、满足图片数据系统对接受能力、并发处理能力和实时响应能力、高扩展能力等方面的要求。本文改进了FastDFS的同步机制以及改进了FastDFS的负载均衡算法，并将该分布式文件系统应用于图片数据处理系统中。实验结果表明，相比于传统单一的FastDFS文件系统，本文设计的一系列机制能更好的满足企业在多需求、高应用、易扩展等方面的需求。I基于分布式的海量图片数据存储系统的研究与设计关键词：分布式文件系统；FastDFS；负载均衡；同步；图片处理IIBasedonthedistributedmassimaged

6、atastoragesystemintheresearchanddesignAbstractWiththerapiddevelopmentoftheInternetandtherichdevelopmentofinformationresources,allworksoflifewillproduceahugeamountofrawdata,especiallydatarepresentedwiththeformofpictures.Howtomanageandstoreinformationres

7、ourceisbecomingmoreandmoredifficult.UndertheInternetageinwhichinformationgrowsexplosively,thetraditionalwayoffilestorageisnotabletomeetourrequirementsinprocessingtimeandstoragespace.ThestudyofHigh-performancedistributedfilesystemisbecomingaresearchhots

8、pot.Basedontheanalysisandcomparisonofthedistributedfilestoragesystemathomeandabroad,FastDFSisselectedtobethestoragesysteminthisthesis.FastDFSisanopensourcelightweightdistributedfilesystem,whichcansolvetheproblemssuchasdatastorageandload