支持Hadoop配置的异构虚拟机平台的研究

《支持Hadoop配置的异构虚拟机平台的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号TP399UDC620硕士学位论文学校代码密级10533支持Hadoop配置的异构虚拟机平台的研究ResearchonHeterogeneousVirtualMachinePlatformofSupportingHadoopConfiguration作者姓名：学科专业：研究方向：学院(系、所)：指导教师：郭龙计算机科学与技术计算机应用信息科学与工程学院杨路明教授论文答辩日期丝也苎；[q答辩委员会主席中南大学二0一三年五月哗原创性声明本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究

2、成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。作者签名：二肆丝日期：址年』月丝日学位论文版权使用授权书本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科学

3、技术信息研究所将本学位论文收录到《中国学位论文全文数据库》，并通过网络向社会公众提供信息服务。作者签名：主产』毫导师签名纽日期：坦年[月』日支持Hadoop配置的异构虚拟机平台的研究摘要：随着云计算技术的发展，各种大小不一的数据中心纷纷出现，而这些数据中心往往存在各种虚拟机管理平台(如Eucalyptus，OpenNebula和OpenStack等)，应用场景需求也完全不同，各种管理平台要求不同的运维、开发技术和经验，不同管理平台间的服务器资源不能动态共享，影响了弹性服务的性能。同时由于平台中的不同的机器配置进

4、而也将影响其上层运行的云计算应用。Hadoop作为已广泛应用于数据密集型计算的云计算应用之一，其中的MapReduce框架可配置参数的正确配置对计算的性能有着不可忽视的影响。然而，当遇到异构的Hadoop集群时，用户一般只能使用默认配置或者依照经验进行手工配置，由于参数调优时可选择的空问很大，这样常常会导致错误地配置致使计算性能下降。针对多种多样的虚拟机平台的问题，本文设计并实现了一个异构虚拟机管理平台。在不需要改变既有的虚拟机管理平台结构的基础上，实现对现有主流的虚拟机管理平台的统一管理和控制、虚拟资源的均衡

5、分配；同时还提供可扩展的适配层接口和驱动部件，支持其它异构的虚拟机供应和管理平台。针对异构虚拟机平台上的Hadoop应用的问题，本文提出了一种基于增强学习的MapReduce在线参数自动配置方法。该方法利用离线学习粗粒度地创建初始化策略，在线学习根据策略细粒度地配置参数，并通过试错法迭代地更新Q值表使得配置结果接近最优。实验结果表明，该配置方法可以有效地提高Hadoop的性能，并且能快速迭代实现收敛，使运行MapReduce任务的机器资源得到充分使用，缩短任务的运行时间。本文共有图20幅，表11个，参考文献51

6、篇。关键词：云计算；虚拟化；Hadoop；增强学习分类号：TP399IIResearchonHeterogeneousVirtualMachinePlatformofSupportingHadoopConfigurationAbstract：Withthedevelopmentofcloudcomputingtechnology，datacenterswithvarioussizeshavebeenappearing，butthesedatacentersoftenwithvariousvirtualmachi

7、nemanagementplatformsfe．g．Eucalyptus，0penNebula，0penStack)，completelydifferentdemandscenarios，differentmanagementplatformrequiresdifferentmaintenance，developmentskillsandexperiences，whileserverresourcescannotbeshareddynamicallybetweendifferentmanagementplatf

8、orms，affectingtheperformanceoftheelasticservice．TheperformanceofcloudcomputingapplicationswhicharerunningonHeterogeneousvirtualmachineclustermaybeimpacted．Asapopularapplicationofcloudcomputing，H