基于gpu运算的mars框架的分析与研究

《基于gpu运算的mars框架的分析与研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、单位代巧１０４７５，学号？１０４７５４１４０８９１；分类号ＴＰ３０２＼皆為乂聲誦硕±学位论文ＶＪ（专业学位）：Ｍ二八句—基于ＧＰＵ运算的ＭＡＲＳ框架的分析与研究Ｉ专业学位领域：计算机技术专业学位类别；工程硕±申请人：吕新宇指导教师：韩志杰副教授二〇—六年五月AnalysisandResearchonMARSFrameworkbasedonGPUComputingADissertationSubmittedtotheGraduateSchoolofHen

2、anUniversityinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringByLvXinyuSupervisor:Prof.HanZhijieMay,2016关于学位论文独创声明和学术诚信承谱本人向河南大学提出硕去学位申请。本人郑重声明：所呈交的学位论文是本人在导师的指导下独立完成的，对所研究的课题有新的见解。据我所知，除文中特别加从说明、标注和致谢的地方外，论文中不包括其他人巴经发表或撰写过的研究成果，也不包括其他人为获得

3、任何教育、科研机构的学位或证韦而使用过的一文中作了明确的说材料。与我同工作的同事对本研究所做的任何贡献均已在论明并表示了谢意。此本人部重承诺，文在：所呈交的学位论文不存在舞弊作伪行为责自负。？学位申请人（学位论文作者）签若：ａ种棄＿—２０１《年Ｓ月之日ｊ．？．．：如．．．＇．＾世：：＇；女丫＇：古ｊ摩ＣＶ；．一＇＂、？．、？－，．－￣．？．．－．：＇：＊＜朵；＾？．；（，，关于学位论文著作权使用授权书人经河南大学审核批。为学位论文的炸者本准授予硕去学位作，本人完全了

4、解并同意河南大学有关保留、使用学位论文的要求，即河南大学有权向国家图书馆、科研信息机构、数据收集机构和本校图书馆等提供学位论文（纸质文本和电子文本）＂供公众检索、查巧。本人授权河南大学出于宣扬、展览学校学术发展切采取影印、缩印、打描和拷、汇目的贝手段保存和进行学术交流等，可等复制编位施文（纸质文本和由子文本）。学及保位论文）（涉密内容后适用本授权书的学在解蕾（）签若：廷章学位获得位洛文作者者学刊＊２２０１日Ｃ月名年１＇＇师签若：学位论文指导教‘．２１０谷年；月义曰Ｉ摘要随着互联网

5、的飞速发展，网络资源包含了越来越多各种类型的数据与信息，人们对大数据处理的需求也越来越迫切。服务器CPU性能与IO吞吐量对处理大数据来说都至关重要，但就传统的技术架构与单台计算机串行处理模式来说，其存储空间、容错性、数据访问速度与处理速度都远远达不到人们对大数据的处理要求。并行和分布式计算是解决大规模数据处理的有效手段。现存的几种基于Mapreduce的并行处理框架如Hadoop、Spark、Disco等都是利用CPU对数据进行并行处理，但是由于CPU内核数量和内存容量的制约，想利用核数有限的CPU对巨大的数据进行并行计算，其性

6、能必定受到限制，但是若将并行计算的部分移植到可以分配大量线程的GPU上进行则可以进一步提高并行度和数据处理效率，加快数据处理速度。MARS框架是一种基于GPU的Map/Reduce框架。在Mars框架中，将数据以key/value对的形式输入到主存储器中，对数据开始进行处理时，为Map任务和Reduce任务初始化大量的GPU线程，为每个线程分配少量且尽量等量的key/value对进行处理，使得GPU的每个线程能够负载均衡，使对大量数据的处理性能达到最优化，以此提升对大数据的处理效率。本文通过以Mars框架为研究对象，以Mars框

7、架实现数据处理功能为重点研究内容，分析Mars框架的设计理念与实现方法，并详细解析MARS所实现的七项数据处理功能，实现应用案例的运行。具体研究工作如下：1.总结和分析现有的几种大数据处理框架包括Hadoop、Spark、Disco数据处理框架，并比较几种框架的优缺点；2.对MARS框架所涉及到的一些架构与平台的详细介绍，包括GPU、CUDA、MapReduce等；3.分析MARS框架的设计与实现，包括MARS框架的设计目标、工作流程、参数配置、接口设计、关键技术等；4.详细解析MARS所实现的七项数据处理实例，包括词频统计、字

8、符串匹配、网页访问量排序、网页访问量计数、矩阵乘法、倒排索引、相似性评估7项应用，还原实验I配置过程，实现应用实例在Linux系统下的运行，演示实验结果。关键词：大数据，并行处理，Map/Reduce，GPU运算IIABSTRACTWiththerapiddev