mapreduce模型在hadoop实现中计算资源利用率分析和多作业批调度优化

《mapreduce模型在hadoop实现中计算资源利用率分析和多作业批调度优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号ＴＰ３９３单位代码：１０４２２：２０１３巧２８１密级；：学号人乂乂乏戀ＳＨＡＮＤＯＮＧＵＮＩＶＥＲＳＩＴＹ硕±学位论文ＴｈｅｓｉｓｆｏｒＭａｓｔｅｒＤｅｇｒｅｅ论文题目ａＲｅｄｕｃｅ模疆在过ａｄｏｏ哀现中计實资ｓＭｐｙ源利用率分桥觀多作也批调度仗化ＣＯＭＰＵＴＩＮＧＲＥＳＯＵＲＣＥＵＴｉＵＺＡＴＩＯＮＡＮＡＬＹＳＩＳＡＮＤＷＵＬＴ！ＪＯＢＳＣＨＥＤＵＬＩＮＧＡＬＧＯＲＩＴＨＭＤＥＳＩＧＮＯＦＷＡＰＲＥ日ＵＣＥ／ＨＡＤＯＣＰ作者姓名于齋发培养单位计算化科学＾亏技术学院专业名称巧件工輕李沒點教

2、授指导教师合作导师巧３０：側Ｓ年月日分类号：ＴＰ３９３单位代码：１０４２２密级：学号；２０１３１３２８１硕±学位论文ＴｈｅｓｉｓｆｏｒＭａｓｔｅｒＤｅｒｅｅｇ论文题目：ＭａｐＲｅｄｕｃｅ模型在Ｈａｄｏｏｐ实现中计巧资源利用率分巧和多作业批调度优化ＣＯＭＰＵＴＩＮＧＲＥＳＯＵＲＣＥＵＴＩＬＩＺＡＴＩＳＩＯＮＡＮＡＬＹＳＡＮＤＭＵＬＴＩＪＯＢＳＣＨＥＤＵＬＩＮＧＡＬＧＯＲＩＴＨＭＤＥＳＩＧＮＯＦＭＡＰＲＥＤＵＣＥ／ＨＡＤＯＯＰ作者姓名于晓龙培养单位计算机科学与技术学院专业名称软件工程指导教师李

3、教副教授合作导师２０１６年６月３０日原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的研究作出重要贡献的个人和集体，均已在文中明确方式标明。本声明的法律责任由本人承担。和Ａ导０论文作者签名：ＴＴ日期：关于学位论文使用授权的声明本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部口或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权山东大学可将本学位论文的全部或部分

4、レ内容编入有关数据库进行检索，可ッ采用影印、缩印或其他复制手段保存论文和汇编本学位论文。（保密论文在解密后应遵守此规定）论文作者签名：絲円：义导师答名期；山东大学硕上学位论文目录中文摘要ＩＡＢＳＴＲＡＣＴＩＩ第一章绪论１１．１研究背景１１丄１云计算时代到来１１１２２．．云计算的发展１丄３Ｇｏｏｇｌｅ开源云计算架构２１．２主要研巧内容３１．３论文的结构安排４１．４本章小结５第二章相关研巧６２．１Ｈａｄｏｏｐ计算环境６２丄１Ｈａｄｏｏｐ技术架构７２丄２ＨＤＦＳ简介８２

5、．２ＭａｐＲｅｄｕｃｅ编程模型研巧综述９２．２ａｅｄｕｃｅ．１ＭｐＲ分析模型相关研究９２．２．２ＭａｐＲｅｄｕｃｅ实现框架１０２．２．３Ｈａｄｏｏｐ调度算法研究１３２．３排队论基本理论及其应用分析１３２．３．１排队系统的组成部分１３２．３．２／Ｉ队列模型１４２．４性能分析模型技术１５２．５本章小结１５第Ｈ章ＭａｐＲｅｄｕｃｅ在Ｈａｄｏｏｐ实现中的单作业性能分析模型１６３．１Ｍ巧Ｒｅｄｕｃｅ结构的分析模型１６３．２ＭａｐＲｅｄｕｃｅ模型假设１８１山东大学硕上学位论文３．２．１ＭａＲｅ

6、ｄｕｃｅ型参数１９ｐ模３．２．２ＭａｐＲｅｄｕｃｅ系统利用率分析模型２０３．３基于工作负载的性能分析２３３．３１Ｍ４．ａｐｐｅｒ槽位平均排队时间２３．３．２民ｅｄｕｃｅｒ槽位平均排队时间２５３．３．３工作负载的临界值２７３．４仿真设计与性能分析２７３．４．１仿真设计与具体实现２７３．４．２仿真结果分析２９３．５本章小结２９３１第四章ＭａｐＲｅｄｕｃｅ多作业批调度分析模型与算法设计４．１ＭａｐＲｅｄｕｃｅ多作业批调度分析模型３１４．１．１分析模型建立３１４．１．２分析模型性能分析３３４．２多作业批

7、调度改进算法３４４．２．１算法设计３５４．２．２算法实现％４．３性能评价３７４．４本章小结３９第五章总结与展望４０．１５总结４０５．２展望４１附录４２参考：Ｓ：献４７Ｈｅ＾５２攻读学位期间发表的学术论文５３在读期间参与的科研项目情况５４山东大学硕上学位论文ＣＯＮＴＥＮＴＳ乂ＢＳＴＲＡＣＴ（ｉｎＣｈｉｎｅｓｅ）ＩＡＢＳＴＲＡＣＴＩＩＣｈａｐ