hadoop分布式文件系统下载策略改进研究

《hadoop分布式文件系统下载策略改进研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP311．5密级公开重庆邮电大学硕士学位论文论文题目Hadoop分布式文件系统下载篆坚堕垄堕窒英文题目ResearchontheStrategytoImprovetheHadoopDistributedFileSystemDownloadingPerformance硕士研究生蒋仁祥学科专业计算机软件与理论论文提交日期2Q曼2生垒且论文答辩日期2Q堇2玺5目2亟目论文评阅人答辩委员会主席王越教授重庆理工大学2012年5月独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经

2、发表或撰写过的研究成果，也不包含为获得重麽由＆电太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：落{z奄事签字日期：M乙年§月聊学位论文版权使用授权书本学位论文作者完全了解重麽由g电太堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权重麽由g电太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)学位论文作者签名：喝豸彳纱睇

3、导师签名签字日期：硼J2，年f月纠徊签字日期：重庆邮电大学硕士论文摘要Hadoop是当今应用最为广泛的开源云计算平台，主要由Hadoop分布式文件系统(HDFS，HadoopDistributedFileSystem)和MapReduce框架组成。当前Hadoop分布式文件系统采取的下载策略使客户端在从文件系统下载文件过程中下载效率低下而且不利于集群负载均衡，导致用户对Hadoop分布式文件系统的体验感受较差。为了解决Hadoop分布式文件系统存在的上述问题，本文基于并行下载思想，分别设计出：(1)文件级并行下载策略，在下载文件过程中，并行下载文件每个数据块：(2)数据块级并

4、行下载策略，在下载文件的某个数据块时，从多个节点并行下载数据块：(3)应用了一种速度自适应的动态并行下载机制的并行下载策略，在下载文件数据块的过程中，客户端同多个数据节点建立连接并行下载数据块，并根据各连接带宽比，动态分配下载任务。这三种下载策略在下载效率和集群负载均衡方面均优于Hadoop分布式文件系统的原始下载策略。策略(1)的下载效率和文件数据块在HDFS中的分布息息相关；策略(2)在文件数据块副本系数较大的情况下下载效率较高，且实现复杂度较低；策略(3)的综合下载性能最优，能够根据网络带宽的变化动态重分配下载任务。本文实验中，用10台PC机搭建了一个小型Hadoop平

5、台，在此平台上进行改进前和改进后的Hadoop分布式文件系统下载性能对比实验。实验主要从Hadoop分布式文件系统的原始策略和改进后的每种策略的下载时间和集群负载均衡两方面进行对比分析。实验证明，在相同条件下改进后的每种下载策略的下载时间大大减少，更有利于HDFS集群负载均衡。关键词：云计算，Hadoop分布式文件系统，并行下载，负载均衡重庆邮电大学硕士论文AbstractHadoopisthemostwidelyusedopensourcecloudcomputingplatform，HadoopDistributedFileSystem(HDFS)andMapReduce

6、frameworkarethemaincomponentsofHadoop．ThedownloadstrategyofthecurrentHadoopDistributedFileSystemmadethedownloadinefficientandnotconducivetoclusterloadbalancingintheprocessoftheclientdownloadingfilesfromHadoopDistributedFileSystem，whichledtofeelpooruserexperienceontheHadoopDistributedFileSys

7、tem．InordertosolvetheaforementionedproblemsbytheHadoopDistributedFileSystem，basedonparalleldownloads，respectively，designedto：(1)File．1evelparalleldownloadstrategy，duringthedownloadprocess，downloadeachdatablockinparallel；(2)Datablock-levelparalleldownload