基于hadoop的海量小文件处理性能研究与优化

《基于hadoop的海量小文件处理性能研究与优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP399密级：公开UDC：学校代码：10127硕士学位论文论文题目：基于Hadoop的海量小文件处理性能研究与优化英文题目：ResearchandoptimizationofprocessingperformanceofthenumeroussmallfilesBasedonHadoop学位类别：工程硕士研究生姓名：赵玉龙学号：201202448学科(领域)名称：计算机技术指导教师：谭跃生职称：教授协助指导教师：职称：2014年6月6日内蒙古科技大学硕士学位论文摘要随着大数据时代的到来，互联网数据与日俱增，传统的数据处理方式已经不能适应大数据的要求，Hadoop作为进

2、行海量数据分析处理的云平台应运而生。目前，Hadoop已经被应用到数据分析、数据挖掘、机器学习等各个领域当中。然而，它自设计之初，就是为了处理流数据访问模式的大数据。事实上，在能源、气候、天文、电子商务、电子图书馆等许多领域的现有系统中都包含着数量巨大的小文件。据2007年的一项调查表明，美国国家能源与科学计算研究中心包含着超过1300万的文件，其中，99%的文件大小在64MB以下，43%的文件大小在64KB以下。由于Hadoop平台采用单一的节点来管理整个分布式文件系统的元数据，海量小文件的出现就会给主节点带来巨大的内存压力，并且会大大影响到MapReduce编程模型的计算性

3、能。针对目前Hadoop平台不能高效的处理海量小文件而出现的小文件问题，文章首先提出一种基于曲线拟合最小二乘法的确定Hadoop平台下何为小文件的方法。该方法首先确定了小文件访问时间的量化方法，然后采用访问时间作为确立何为小文件的影响因子，通过对不同大小数据集的不同访问时间的实验，最终结合线性拟合的相关知识找到了小文件大小的量化方法。此外，为了提高MapReduce处理海量小文件的性能，本文提出了一种基于预处理的文件合并算法，并结合此算法分别对合并后的数据集和未处理过的小文件数据集进行词频统计处理，分别记录下合并前后每个文件数据集的处理时间。实验结果表明，采用本合并方法的数据处

4、理时间比合并前大大降低，大大提高了MapReduce处理小文件的效率。在此基础上，本课题还研究并实现了CIFSF小文件处理算法，该算法是将小文件分片直接整合到一个分片中，最终调取map任务来处理分片。实验中对该算法的处理时间进行了记录，结果显示，CIFSF算法也是一种高效地处理海量小文件的算法。关键词：Hadoop；小文件；MapReduce；线性拟合；文件合并；CIFSFI内蒙古科技大学硕士学位论文AbstractWiththecomingeraofthebigdata,theinternetdataisincreasingwitheach passingday.Hadoop

5、,acloudplatform,comesintobeingtodealwiththeproblemof massiveamountsofdatabecauseofthetraditionalmethodsofdataprocessinghavenot beenadaptedtotherequirementoflargedata.Recently,theHadoophasbeenappliedto thedataanalysis,datamining,machinelearningandotherscientificareas.However,theHadoopplatform

6、wasdesignedtohandletheaccesspatternofstream ofthebigdatafromthebeginningofdesign.Infact,thereisahugenumberofsmall filesintheexistingsystemsonthefieldsoftheenergy,climate,astronomy,electronic commerceandelectroniclibrary.Accordingtoasurveyof2007,thenationalenergy andscientificcomputingresearc

7、hcentercontainsmorethan13millionfiles,among them,99%ofthefilesareunder64MB,43%ofthefilesizeareunder64KB.Because theHadoopplatformadoptsasinglenodetomanagethemetadataofthedistributedfile system,theemergenceofmassivesmallfileswillbringhugememorypress