基于FastDFS架构的小文件存储系统的设计与实现

《基于FastDFS架构的小文件存储系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于FastDFS架构的小文件存储系统的设计与实现THEDESIGNANDIMPLEMENTATIONOFSMALLFILESTORAGESYSTEMBASEDONFASTDFSARCHITECTURE李长平哈尔滨工业大学2015年6月国内图书分类号：TP311学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文基于FastDFS架构的小文件存储系统的设计与实现硕士研究生：李长平导师：郭勇讲师副导师：黎文彦高级工程师申请学位：工程硕士学科：软件工程所在单位：软件学院答辩

2、日期：2015年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP311U.D.C:621.3DissertationfortheMasterDegreeinEngineeringTHEDESIGNANDIMPLEMENTATIONOFSMALLFILESTORAGESYSTEMBASEDONFASTDFSARCHITECTURECandidate：LiChangPingSupervisor：Lecturer.GuoYongAssociateSupervisor:SeniorEngi

3、neerLiWenYanAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence：June,2015Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要冯诺依曼计算机体系结构的五大组成部分：运算器、控制器、存储器、输入设备、输出设备，而

4、处理、传输和存储是信息计算的三大基本任务，由此可见，存储占据了重要的位置。随着时代的发展，网民人数的不断增加，个人数据和企业数据成爆炸性增长。许多系统都面临了海量数据的问题，如何高效管理、降低存储成本、提高可靠性是存储系统的共同面对的问题。为了解决这些问题，分布式文件存储系统应运而生。分布式文件存储系统具有海量数据存储、高扩展性、高并发、高可靠等特点，是目前火热的技术领域之一，许多技术专家都在致力于分布式存储系统。本文基于对FastDFS架构的小文件存储系统的研究，存储对象主要是10KB至10M之间的

5、小文件。在参考了FastDFS分布式文件架构后，针对FastDFS中一些问题提出了改进措施，加入FileIndex模块，起到全局排重和防空下载的作用，构建一个高性能、高并发、高可用、高扩展的分布式文件存储系统。本文首先分析了国内外分布式文件存储系统的研究状况，主流的分布式文件存储系统的一些特点，然后描述了小文件存储系统的需求分析以及架构设计，接着对基于FastDFS架构的小文件存储系统的设计方案以及逻辑流程做了介绍，然后详细介绍了基于FastDFS架构的小文件存储系统的详细设计，主要包括数据结构的设计

6、、公用类库的设计、主要功能模块的详细设计等。在此基础上，针对系统进行了功能性测试以及非功能性测试，并对实验结果进行总结，得到实验结论。关键词：存储；分布式系统；FastDFS；高并发；高扩展；海量数据-I-哈尔滨工业大学工程硕士学位论文AbstractVonneumanncomputerarchitecturewascomposedofthefivecomponents:arithmeticunit,controller,memory,inputdevicesandoutputdevices.Proc

7、essing,transmissionandstoragearethethreebasetaskofinformationcomputing.Thusitcanbeseenthatstorageoccupytheimportantposition.WiththedevelopmentofInternet,moreandmorepeoplestarttouseinternet,personaldataandenterprisedataintoexplosivegrowth.Manysystemsaref

8、acingtheproblemofhugeamountsofdata,howtoefficientmanagement,toreducethestoragecosts,improvereliabilityisthecommonproblemofthestoragesystem.Inordertosolvetheseproblems,thedistributedfilestoragesystemarisesatthehistoricmoment.TheDi