基于yarn网络数据的分析系统实现及应用的研究

《基于yarn网络数据的分析系统实现及应用的研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringTheResearchofImplementionandApplicationforNetworkDataAnalysisSystemBasedonYARNCandidateMajorSupervisor：FangChen：Electronic&CommunicationEngineering：ShijunZhangHuazhongUniversityofScience&TechnologyWuha

2、n430074,P.R.ChinaMay,2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论

3、文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在________年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据摘要近几年来，随着通信技术与计算机科学的迅猛发展，大量的互联网公司如后春笋般不断涌现，他们正在改变人们的传统生活与生产方式。互联网在人们带来各种便利的同时，也带来了海量的数据。如此快速增长的海量数据让众多行业面临着严峻的挑战，而如何有效利用这些海量数据来完善互联网行业的服务，或者挖掘出数据深处蕴藏的人

4、为行为习惯和科学规律，这更成为一个急需解决的问题。然而一个具有超大容量、能够满足多种数据处理要求的数据平台便是解决这一问题的基础。因此，可以从目前成熟的分布式数据处理技术出发，结合互联网数据的特点，针对数据处理平台这一方向来进行研究。在处理海量数据的时候，传统的数据库往往在存储容量和扩展性方面显得有所不足，而分布式系统能够有效的利用多台机器的资源，使其更适合海量数据的处理。网络数据处理通常会用到多种计算框架，例如擅长离线作业的框架MapReduce，基于内存实现的框架Spark，实时计算框架Storm等等，这些都是当前在各自擅长领域的典型框架代表。所以，本文提出的网络数

5、据平台上需要部署多种计算框架，并且这些框架必须共享集群资源，这样才能最大化集群的资源利用率。为了达到这一目的，需要在集群上部署负责统一管理资源的框架，并采用合适的调度器与调度算法，从而实现多种计算框架的统一资源分配和作业调度。本文选取YARN作为分布式资源管理框架，在此基础上部署MapReduce、Storm和Spark。根据网络数据分析作业的特点，选择容量调度器，并设置了合适的调度策略，进行了资源使用率的测试。通过测试结果可以看出，YARN能够很好的为各种框架提供底层支持，并且能合理地调度任务和分配资源，在容错性和扩展性方面的性能也很优异。最后介绍了在该数据平台上实际

6、运行的任务概况，提出了需要改进的地方，同时给出了将来研究工作的重点和目标。关键词：网络数据；YARN；分布式系统；资源管理框架；调度器I万方数据AbstractWiththerapiddevelopmentofInformationandCommunicationTechnology,alargequantityofInternetcompanieshaveemergedasanalternativesolutiontochangeourconventionallifestyleandproductionmode.Despiteofconvenience,asubsta

7、ntialamountofdatathatinternethasbroughttoushasbecomeacriticalchallengetoawidevarietyofindustries.Specifically,theissueofhowtotakefulladvantageofthosemassivedatatoimproveInternetserviceanddisclosehumanbehaviorsandscientificlawsbehindtheveilofdata,isanurgentonethatneededtob