hadoop平台研究

《hadoop平台研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、中国科学技术大学硕士学位论文云计算中的网络拓扑设计和Hadoop平台研究姓名：邓自立申请学位级别：硕士专业：信号与信息处理指导教师：俞能海20090501摘要云计算是2007年底正式提出的一个新的概念，它可以说是一个革命性的创新，意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉，不同之处只是在于它是使用互联网进行传输的。至今为止，Google、Microsoft、IBM、亚马逊等IT商业巨头都推出了自己的云计算平台，并把云计算作为其未来发展的最主要战略之一。因此，云计算的研究不但紧跟业界技术发展的趋势，同时还具有较高的应用价值。．在云计算

2、系统的后端，有成千上万的服务器，如何有效组织如此大量的服务器是云计算系统高效稳定运行关键问题之一。一个合理的网络拓扑不但可以提高网络的性能，而且能够保证网络的稳定性，使网络在部分节点或链路故障或拥挤时也能正常工作。云计算系统后端的网络拓扑特性有别于一般的网络拓扑，需要我们重新考虑和研究。Hadoop是一个在集群上运行大型数据库处理应用程序的开放式源代码框架。它支持通过Google的MapReduce编程范例来创建并执行的应用程序，在很多大型网站上都已经得到了应用，可以说是目前最为广泛应用的开源云计算软件平台，但其发展时间较短，研究还不够深入，还有较多值得改进的地方。本文

3、主要研究工作和贡献如下：1．通过调研云计算的网络需求，分析云计算的网络拓扑结构特点，提出云计算网络拓扑结构应该由中心的主干交换部分和外围的树状子网组成的基本构想；利用图论和最优化理论，基于贪心算法思想，针对其主干交换网络的拓扑设计，提出了自动拓扑设计算法RGA并仿真实现。实验结果表明，与已有算法比较，所提出算法更为有效。2．通过调研Hadoop的相关资料，在实验室搭建配置了8台PC组成的Hadoop平台；对Hadoop的MapReduce工作模式进行分析，针对它的多任务调度，提出了基于优先级的加权轮询算法(PBwRR)，并在Hadoop平台上编程实现。实验结果表明，与H

4、adoop平台默认使用的FIFO调度算法相比，所提出的算法一PBWRR的性能更加优越。最后我们对论文工作进行了总结，并讨论了对进一步工作的展望。关键词：云计算网络拓扑设计贪心算法Hadoop映射一规约任务调度AbstractABSTRACTAsanewconceptproposedintheendof2007，cloudcomputingisagreatrevolutionintheITfield．Itmeansthatcomputingcallbeusedasacommodity,likecoalgasorelectricity．Theonlydifferencebe

5、tweenthemisthatcloudcomputingtransportsbythecomputernetworks．Uptonow，Google、Microsoft、IBM、Amazonandsomeotherfamouscooperationshaveproposedtheircloudcomputingapplication，andtakecloudcomputingasoneofthemostimportantstmtageinthefuture．Inthebackendofcouldcomputingsystem，therearethousandsofse

6、rvers．Howtoorganizetheseserversisallimportantproblemtoguaranteehi【ghperformanceofthecloudcomputingsystem．Areasonablenetworktopologycallnotonlyimprovetheperformanceofnetworking，butalsoenhancethestabilityofthesystemandmakesitworkwhensomenodesorlinksfailed．Thecouldcomputingsystem’Snetworkto

7、pologyisdifferentfromthetypicalinteract，SOitneedtobereconsidered．HadoopisanopenSOUrcecodeframeforverylargedataprocessapplication，whichrunsonaclusterofcommercialPCs．ItcreatepallrallprogramthroughGoogle’SMapReducemethodandhasareadlybeenusedbymanyfamousITcompanies．Hadoopcanb