基于hdfs的海量小文件处理性能的研究与优化

《基于hdfs的海量小文件处理性能的研究与优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ｅｚＡｉ寺寺成＊著口ＦＣＨ■Ｎ乂ＵｉＴＹＯＦＥＬ巨ＣＴＲＯＩＣＩ臣ＨＣＥＡＮＴ巨ＣＨＮＯＬＯＧＹＯＭｌＶＥＲＳＭｓｃ硕±学位论文ＭＡＳＴＥＲＴＨＥＳＩＳ．ｔ戀Ｘ论文题目基于Ｈ孤Ｓ的海量小文件处理性能的研究与优化学科专业升算机软件与理论学号２０１３２１０６０２２１作者姓名张荣指导教师魏祖宽副教授：．，麵，．、鷄知？象Ｉ、独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加Ｗ标注和致谢的地方＞夕［，论文中不包含

2、其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。＊＾作者签名：日期：Ｍ年主月日７论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可将学位论文的全部或部分内容编入有关数据库进行检索，可Ｗ采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定），作者签名

3、：、导师签名：斗部媒重聲曰期；年尸月曰入分类号密级注1UDC学位论文基于HDFS的海量小文件处理性能的研究与优化（题名和副题名）张荣（作者姓名）指导教师魏祖宽副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机软件与理论提交论文日期2016.03论文答辩日期2016.05学位授予单位和日期电子科技大学2016年6月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。ResearchandOptimizationofMassSmallFilesBasedonHDFSAMasterThesisSubmittedtoUniversityofEl

4、ectronicScienceandTechnologyofChinaMajor:ComputerSoftwareandTheoryAuthor:ZhangRongSupervisor:A.profWeiZukuanSchool:SchoolofComputerScience&Engineering摘要摘要当前，随着计算机和信息处理技术的迅猛发展，应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。传统的存储技术在面对海量数据的挑战时显得愈加的乏力。由Apache基金会研发的分布式计算平台Hadoop，迅速成为了大部分科研机构和企业进行大数据研究的首选。与此同时，随着互联网行

5、业的强势崛起和快速发展，催生出了海量的不同类型的小文件，而Hadoop最初的设计主要是针对大文件的存储，而对海量小文件的存储并未多加考虑。如果将海量的小文件不经任何预处理直接上传至HDFS，将会造成NameNode内存中元数据臃肿和文件访问效率低下的问题。利用Hadoop在大文件处理方面的优势，基于合并的思想对小文件进行优化处理，可以使得Hadoop同样适用于海量小文件的存储。在海量小文件优化方案实施之前，本文首先对NameNode的内存消耗和访问效率进行了量化分析，得出了可以从减少NameNode所管理的文件数量，减少DataNode从磁盘上获取数据块的时间消耗等方面着手的结论。

6、本文的合并方案是基于MapFile实现，在进行小文件合并操作的同时为其创建索引，并将索引信息存放至HBase中，同时为了加快文件的检索效率，引入了缓存功能模块，针对小文件的特性采用了改进的缓存置换策略。鉴于HDFS提供的HadoopShell和Http访问方式并不能为用户带来直观清晰的体验，对文件的操作也不是很方便，本文中设计实现了一个基于CBFS的虚拟文件系统。通过该文件系统将远端的HDFS虚拟化为本地Windows文件系统中的一个磁盘，给用户带来直观体验的同时，大大方便了用户的操作。最后通过将本文提出的优化方案，与原始HDFS和Sequencefile进行测试对比，发现不论是N

7、ameNode的内存高消耗还是文件访问的高延迟问题都有所改善，证明了本文提出的小文件优化方案的可行性和有效性。关键词：海量小文件，HDFS，合并，索引，缓存IABSTRACTABSTRACTAtpresent,withtherapiddevelopmentofcomputerandinformationtechnology,thescaleofapplicationsystemisexpandingrapidly,andthedataproducedbyindustr