分布式文件系统小文件性能优化技术研究

《分布式文件系统小文件性能优化技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号_________学号M201172399学校代码10487密级硕士学位论文分布式文件系统小文件性能优化技术研究学位申请人：吴森学科专业：计算机系统结构指导教师：王芳教授答辩日期：2014年1月21日万方数据AThesisSubmittedinPartialFulfillmentoftheRequirementsFortheDegreeofMasterofEngineeringResearchonPerformanceOptimizationforSmallFilesinDistributedFileSystemCandidate:SenWuM

2、ajor:ComputerArchitectureSupervisor:Prof.FangWangHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaJan.,2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签

3、名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在________年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学位论文摘要随着信息化程度的不断提高，数字信息也迅速增加，分布式文件系

4、统为海量信息的存储提供了有效的解决措施。对分布式文件系统的研究表明，系统对于大文件操作，可以充分使用网络带宽和服务器的存储能力，有非常好的性能。然而，对于日益增长的小文件应用，存在网络带宽利用率低，小文件读写性能差的问题。CapFS是实验室自主研发的分布式文件系统，通过详细分析CapFS系统文件读写流程，得出小文件读写时客户端请求队列长，从而导致了读写操作延迟大，性能低下。结合当前文件系统设计现状，并充分利用Linux内核缓存，改善了小文件访问负载性能。采用基于聚合的小文件优化技术，在客户端写操作中，将多个文件保存在同一个数据块，从而实现聚合。综合网

5、络带宽使用和一致性开销等指标，得出合适的数据块大小；结合Linux内核文件预取机制，选取关联文件放在同一个数据块中，在一定程度上提高文件读性能；结合Linux内核缓存机制，确定数据块缓存策略及“脏”数据块刷回机制；通过回调机制，保证多客户端并发访问的一致性。在元数据服务器端，采用哈希方式来管理数据块元数据信息，提供高效的数据块索引能力。测试结果表明，小文件聚合技术使得CapFS小文件写性能有较为明显提升，小于64KB的文件，写性能提升约一倍，网络带宽利用率增加约一倍；小文件顺序访问时，对于小于64KB的文件，性能提升约25%；对于系统原有大文件性能不

6、受影响。关键词：分布式文件系统、小文件、聚合、缓存I万方数据华中科技大学硕士学位论文AbstractWiththecontinuouslyimproveofthelevelofinformation,theglobaldigitalinformationisincreasingconstantly,distributedfilestoragesystemprovidesanefficientmeasuresinstoringtheinformation.Researchondistributedfilesystemshowsthatthesystem

7、worksbettertobigfileapplications,whichtakingfulluseofnetworkbandwidthandserver‟scapacity.However,forsmallfilesapplications,thenetworkbandwidthutilizationandperformanceislow.CapFSisamassstoragesystemwhichisresearchedbythelaboratoriesDSALindependently,thebottlenecksoflongrequests

8、linewerelocatedbyanalysistheprocessofsmallfileaccess,w