hadoop小文件处理技术的研究与优化

《hadoop小文件处理技术的研究与优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、．．＂、．ｙ．－■．－．Ｃ－’‘‘，．、．＇；乂，一．．二．Ｖ，、．４，＇．．．．’：却ＩＶ．抑ｒ吟ｒｊ共：？．如一乃■戶％－，户．，户＿＾一’’、－一’？一＂－ｖＴ—ｉ；、ｖ．，Ｔ．．？－，Ａ．、‘’一．，一．■―－＾．、．．啤．，？；－－ｆ．，！．．．．．．．达．与＞－—嗦；广东工业大学硕±学位论文（工程硕±）Ｈａｄｏｏｐ小文件处理技术的研究与仇化赵菲？、、？、？－＇．。

2、户＼－■＇－．？＾Ｖ．心？．．；‘，＼．’’＇Ｖ＇．一；．，■＼，＇—，■－－／—＼．；：＇＇？－：．＞■户占Ｖ妙一：＇，、．－＇．．－”：、Ｌ＇ｙ’－、．＇三ｒＶ，Ｉ’、一＊■．＇命心，．ｒ－与＼ｉ‘＇．．／．．苗缉．．戶■■■－．．令，．■＾？？．；？．．．．，．．一＇．？ｗ、．．－一‘二〇—六年五月．Ｖ？弁，．？、扣

3、Ｊ；．一’ｔ－己＇．．．ＶＶ户．１．＇、＇三’－＇巧巧ＶＪ’诺＼＇、由读锭尸鸟：■．－中、＾：片■下、，－．－‘；．或，．＇、－鴻．卢－．．年：１１８４分类号：学校代号５ＵＤＣ：：密级学号：２１１１３０５０６３广东工业大学硕壬学位论文（工程硕ｄｒ）Ｈａｄｏｏｐ小文件处理技术的研究与优化赵菲校内导师姓名、职称：林穗副教授校外导师姓名、职称：尹年春王程师学科（专业）或领域名称：计算机技术学生所属学院

4、：计算机学院二〇—论文答辩日期：六年五月ＡＤｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉｔｔｅｄｔｏＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｆｏｒｔｈｅＤｅｒｅｅｏｆＭａｓｔｅｒｇｙｇ（ＭａｓｔｅｒｏｆＥｎｇｉｎｅｅｒｉｎｇＳｃｉｅｎｃｅ）ＲｅｓｅａｒｃｈａｎｄｏｐｔｉｍｉｚａｔｉｏｎｏｆＨａｄｏｏｐｓｍａｌｌｆｉｌｅｒｏｃｅｓｓｉｎｔ；ｅｃｈｎｏｌｏｐｇｇｙＣａｎｄｉｄａｔｅ：ＺｈａｏＦｅｉＳｕｐｅｒｖｉｓｏｒ：Ｐｒｏｆ．Ｌｉ

5、ｎＳｕｉＭａｙ２０１６ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒｓＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙＧｕａｎｇｚｈｏｕ，Ｇｕａｎｇｄｏｎｇ，Ｐ．Ｒ．Ｃｈｉｎａ，５１０００６摘要摘要随着互联网的快速发展，数字信息呈现指数级的增长，人类已经迈进了大数．据的时代。在数据存储和计算方面，传统的方法己经显得越来越没有优势。怎样高效Ｗ及合理地存储计算大批量数据己经成为国内外各行各业关必的重点。鉴于，云计算的概念由此产生对数据计算Ｗ及数据存储的高

6、要求。随着云计算技术的迅速发展，存储和计算成为最热口的研究范畴。一Ｈａｄｏｏｐ是Ａｐａｃｈｅ基金会的个开源的项目，它在分布式存储Ｗ及分布式计算方面表现出杰出的性能，引发了国内外广泛的关注，目前，越来越多的高校Ｗ及企业都开始应用Ｈａｄｏｏｐ支撑自己的业务与需求。尽管Ｈａｄｏｏｐ是专口为存储和ａｄｏｏ，计算大数据而设计的，但是当Ｈｐ存储小文件时会给主节点带来巨大的内，ＭａＲｅ化ｃｅ编程模型的计算效率。存压力，影响文件的访问效率并且间接影响ｐ本文基于Ｈａｄｏｏ的Ｍ巧民ｅｄｕｃｅ计算模型和ＨＤＦＳ

7、分布式文件系统两个核也、ｐ内容，着重研究了基于Ｈａｄｏｏｐ的小文件处理技术的通用优化。为了解决Ｈａｄｏｏｐ技术在存储和计算小文件时会给ＮａｍｅＮｏｄｅ节点造成内存？１ａＲｅｄｕｃｅ模型计算效率低的问题，首先研究的浪费、读取文件效率低下１＾及ＭｐＨａｄｏｏｐ本身自带的小文件处理技术，深入分析了它们的优缺点，并分别从Ｒｅｄｕｃｅ层面和ＨＤＦＳ层面对Ｈａｄｏｏ进行研巧与优化，ａｄｏｏＭａｐｐ提高Ｈｐ存储、计算小文件的效率。在ＭａｐＲｅ加ｃｅ层面，对ＭａｐＲｅｄｕｃｅ的执行流程ｙ？及虹Ｐ山Ｆｏｒｍａｔ

8、民ｏｌｕ体系结构进行深入研究，详细分析Ｍａｐｃｅ源代码Ｗ及内部方法的具体实现。通过深入研究Ｗ及实现ＣｏｍｂｉｎｅＦｉｌｅｌｎｐｕｔＦｏｒａｉａｔ抽象类，在ＭａｐＲｅｄｕｃｅ层面对小，提高了Ｈａｄｏｏ对小文件的计算效率Ｓ，文件的输入格式进行合并ｐ。在ＨＤＦ层面一ＨＤＦＳｉ本文提出种具有独立小文件处理模块的分布式文件系统，它不