基于Hadoop的海量小文件处理技术研究

《基于Hadoop的海量小文件处理技术研究》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、电 子 科 技 大 学UNIVERSITY OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA硕士学位论文MASTER THESIS论文题目基于 Hadoop 的海量小文件处理技术研究学科专业通信与信息系统学号201121010209作者姓名陈 旭指导教师徐杰副教授分类号密级UDC注 1学位论文基于 Hadoop 的海量小文件处理技术研究（题名和副题名）陈 旭（作者姓名）指导教师徐 杰副 教 授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业通信与信息系统提交论文日期 20

2、14.05.12 论文答辩日期2014.05.19学位授予单位和日期电子科技大学2014 年 6 月 25 日答辩委员会主席评阅人注 1：注明《国际十进分类法 UDC》的类号。RESEARCH ON PROCESSING TECHNIQUESOF MASSIVE SMALL FILES BASED ON HADOOPA Master Thesis Submitted toUniversity of Electronic Science and Technology of ChinaMajor:Author:Advisor:School :Communicat

3、ion and Information SystemsChen XuA.Prof. Xu JieSchool of Communication & InformationEngineering独 创 性 声 明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：年月日关于论文使用授权的说明本

4、学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名：导师签名：日期：年月日摘要摘要当前，由 Apache 基金会所研发的 Hadoop 云计算平台，已经迅速成为了大数据处理领域的热门首选。与此同时，个性化互联网及移动互联网技术的发展，迅速催生出大量具有重要价值的小文件。由于在现实的应用中，存在较多利用 

5、Hadoop对海量小文件进行存取的需求；同时海量的小文件经过合并处理可以方便地得到适合 Hadoop 平台处理的大文件。因此，利用 Hadoop 平台在处理大数据处理方面的优势来对海量的小文件进行处理，具有十分重要的研究价值和实用意义。然而，Hadoop 云平台本身是为大数据的处理而生，如果直接对海量小文件进行处理，存在耗费节点内存等问题。现有基于小文件合并思想的解决方案，很好地解决了海量小文件耗费节点内存的问题。但是由于其索引结构设计的缺陷，又带来小文件检索效率低、名字节点负担重、实用性差等问题。本文深入研究 Hadoop处理海量小文件时存在的问题，提出海量小文件

6、处理的优化方案。论文在第三章和第四章分别提出基于多层索引的小文件读写策略（简称多层索引技术）以及基于缓存技术的小文件读取策略（简称缓存预取技术）两种方案，并在 Hadoop 平台上对两种方案分别进行了测试验证和结果分析。其中缓存预取技术是对多层索引技术的补充与完善，它对利用多层索引技术所检索出的热点小文件进行缓存处理，以进一步提高检索效率。本文的主要工作包括两个方面：1) 基于多层索引的小文件读写策略的研究与实现。本文根据 Hadoop 平台现有小文件处理的思想，对海量小文件进行合并然后建立索引。其中索引结构的设计是本文的创新点及研究重点，包括索引预处理、索引分层、

7、索引分片等。通过对小文件按类型进行合并，建立多层索引，并对 Hadoop 平台源代码进行相应改进，海量小文件在 Hadoop 平台上耗费节点内存的问题得到解决，检索效率得到一定程度提升、名字节点负担得到减轻、实用性也得到提高。2) 基于缓存技术的小文件读取策略的研究与实现。本文实现了基于 Java 语言的 Adaptive Repalcement Cache 缓存管理算法(ARC 算法)，并提出改进的 ARC 算法，以适应海量小文件中存在大量热点数据的情况。改进的 ARC 算法可以预测将会被频繁访问的小文件并将其进行缓存，并动态置换缓存中的数据，以此提高热点小文