分布式文件系统fastdfs的研究与应用

《分布式文件系统fastdfs的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文分布式文件系统FastDFS的研究与应用ResearchandAppIicationofDistributedFileSystemFastDFS学号：—三!!Q鱼2窒墨完成日期：—卫Q!垒!墨!!大连理工大学DaliaIlUIliversityofTecllllology大连理工大学学位论文独创性声明作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外，本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明

2、并表示了谢意。学位论文题目：穷盘式赳童急三如触pP的．斫冤与勉闭作者签名：蔓熟堕鱼日期：垫生年—￡月—生日大连理工大学硕士学位论文摘要随着互联网的发展，互联网信息呈指数级别增长。以图片，视频，音频等形式出现的信息增长更为迅速，因此如何来存储和管理这些信息变得越来越难。传统的存储架构已经不能满足要求，通过调查研究发现，可以采用分布式文件存储系统来解决这些问题。本文在分析比较了国内外的分布式文件存储系统之后，选定了FastDFS作为底层存储系统。该系统可以提供文件存储，访问和管理。本文改进了FastDFS分布式文件系统的负载均衡算法，将考虑的因子由总存储空间变为存储空间利用率，连接数和性能三

3、个因子。实验分三种情况进行，一种是仅考虑存储空问利用率的情况，第二种是考虑存储空间利用率和连接数的情况，第三种是考虑存储空问利用率，连接数和性能的情况。通过实验结果发现三种情况的负载不均衡度分别为0．00lO，0．0096和0．ol147。改进的负载均衡算法比原算法负载均衡效果更加明显。虽然仅考虑存储空间利用率的算法负载均衡效果最好，但是加入连接数和性能因子之后更符合实际的应用场景。最后针对新的算法做了优化，将首要考虑的因子由存储空间利用率变为性能，虽然负载均衡效果差一些，但是性能得到了保障，符合实际的情况。本文第二个工作将FastDFS应用于图片处理系统中，使得系统对海量小文件的处理更

4、加的高效，消除了原有图片文件系统中的单点故障问题，而且也提高了访问速度。文章从系统结构设计到关键技术的实现等三个方面介绍了这个图片处理系统。通过模拟实际环境测试，该系统能够很好地满足图片处理系统对接收能力、并发处理能力和实时响应能力、高扩展能力等方面的要求。本文的图片原型系统来源于东北凯亚有限公司的实际需要。本文改进了FastDFS系统的负载均衡算法，将该分布式文件系统应用于图片处理系统中。实验结果表明，系统性能得到了提升。关键词：分布式存储；FastDFs；负载均衡；图片处理分布式文件系统FaStDFS的研究与应用ResearchandApplicationofDistributedF

5、ileSystemFastDFSAbstractWiththedevelopmentoftheIntemet，informationontheIntemetaregrowingexponentially，especiallytheinf6nnationinthef-onnofpicture，video，audio．It’smoredifhcult)，tostoreandmanagetheinformation．Traditionalstoragearchitecturecannotmeetourrequirements，aRerinVestigation，usingdistributed

6、filestoragesystemcansolvetheproblem．AReranalyzingandcomparingthedistributedfilesystemathomea11dabroad，thisp印erselectFastDFSastheunderlyingstoragesystem．FastDFScanproVidefileStorage，accessandmanagement．ThispaperimproVesthebanlancingaIgorit№byconsideringstoragespaceutilization，connectionsandperfoma

7、nceinsteadofonesinglefacto卜totalstoragespace．Testsareconductedint】】reecases：oneisthecaseonlyconsjderingstorageutilization，thesecondoneconsideringstorageutilizationandcorulections，a11dthethirdoneisthecaseconsideringa11t