面向云平台优化的数据支撑工具研究与实现.pdf

《面向云平台优化的数据支撑工具研究与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文面向云平台优化的数据支撑工具研究与实现RESEARCHANDIMPLEMENTATIONOFDATASUPPORTTOOLSFORCLOUDPLATFORMOPTIMIZATION李克果哈尔滨工业大学2018年6月国内图书分类号：TP391.1学校代码：10213国际图书分类号：004.4密级：公开工程硕士学位论文面向云平台优化的数据支撑工具研究与实现硕士研究生：李克果导师：石胜飞副教授申请学位：工程硕士学科：计算机技术所在单位：计算机科学与技术学院答辩日期：2018年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP391

2、U.D.C:004.4DissertationfortheMasterDegreeinEngineeringRESEARCHANDIMPLEMENTATIONOFDATASUPPORTTOOLSFORCLOUDPLATFORMOPTIMIZATIONCandidate：KeguoLiSupervisor：A.P.ShengfeiShiAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerTechnologyAffiliation：SchoolofComputerScienceandT

3、echnologyDateofDefence：June,2018Degree-Conferring-Institution：HarbinInstituteofTechnology摘要摘要随着社交网络服务的快速发展，物联网，电子商务，互联网等贡献了巨大的数据，并且数据以一种前所未有的速率在增长。大数据时代的到来，促使大数据技术近年来越来越受到学术界和工业界的关注，传统的大数据计算模型已经无法满足性能和效率的要求，Hadoop，Spark，Storm等分布式框架随着时间的推移而出现。在众多大数据框架中，Hadoop和Spark因其卓越的性能和支持丰富的应用场

4、景而成为最受欢迎的大数据处理云平台。随着Hadoop和Spark的应用越来越广泛，同时也暴露出一些问题，性能问题是最重要的一个方面，目前有很多企业和机构加入到对Hadoop和Spark的性能优化的研究。本文主要是对Hadoop和Spark平台优化提供一个数据支撑，在Hadoop平台上实现了对Hadoop轻量级的功能扩展，提供一个底层的物理数据分布策略，控制数据在物理机器上的分布，从而实现Hadoop优化；在Spark优化平台，主要是对Spark应用程序级别的参数化调优，提供一个训练数据的数据生成工具，通过两种方式：第一种是先建立一个时间预测模型，基于这个

5、时间预测模型生成一定量的训练数据，减少应用程序执行时间和相应的集群资源消耗；第二种是基于任务相似性模型，将具有相似任务的历史日志信息提取出来，扩充参数化调优的训练数据。在异构Hadoop环境下，通过控制底层数据分布，在Grep基准应用程序测试下有25%性能的提高，同时在相关联的数据操作如join操作中,也有很好的性能提升。在Spark平台的优化上，主要是通过两种方式扩充数据训练集合，在一定程度上减少运行时间和资源的消耗。关键词：云平台优化；Hadoop；Spark；数据支撑-I-AbstractAbstractWiththerapiddevelopmen

6、tofsocialnetworkingservices,Internetofthings,e-commerce,andInternetcontinuetocontributehugeamountofdata.Theadventofthebigdataeramakesacademiaandindustrypayincreasingattentiontobigdatatechnologyinrecentyears.Traditionalbigdatacomputingmodelscouldnolongermeettherequirementsofperfor

7、manceandefficiency,butHadoop,Spark,Stormandothersimilarframeworksappearovertime.Inmanybigdataframeworks,HadoopandSparkhavebecomethemostpopularcloudplatformforbigdataprocessingbecauseoftheirexcellentperformanceandsupportofrichapplicationconditions.Astheirapplicationsbecomemoreandm

8、orebroad,someproblemsappearandperformanc