异构大数据编程环境Hadoop_何文婷

《异构大数据编程环境Hadoop_何文婷》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5卷第3期2016年5月集成技术Vol.5No.3May2016JOURNALOFINTEGRATIONTECHNOLOGY异构大数据编程环境Hadoop+何文婷1,2崔慧敏1冯晓兵11(中国科学院计算技术研究所北京100080)2(中国科学院大学北京100049)摘要互联网和物联网技术的飞速发展开启了“大数据”时代。目前，硬件的高速发展催生了许多异构芯片，它们越来越多地出现在大规模数据中心里，支持不同的应用程序，在提升性能的同时降低整体功耗。文章重点介绍了基于MapReduce编程模型的Hadoop+框架的设计与实现，

2、它允许用户在单个任务中调用CUDA/OpenCL的并行实现，并能通过异构任务模型帮助用户。在我们的实验平台上，五种常见机器学习算法使用Hadoop+框架相对于Hadoop能达到1.4×～16.1×的加速比，在Hadoop+框架中使用异构任务模型指导其资源分配策略，对单个应用负载上最高达到36.0%的性能提升；对多应用的混合负载，最多能减少36.9%，平均17.6%的应用执行时间。关键词异构；数据中心；Hadoop+；MapReduce中图分类号TP316.4文献标志码AHadoop+:ABig-dataProgrammin

3、gFrameworkforHeterogeneousComputingEnvironmentsHEWenting1,2CUIHuimin1FENGXiaobing11(InstituteofComputingTechnology,ChineseAcademyofSciences,Beijing100080,China)2(UniversityofChineseAcademyofSciences,Beijing100049,China)AbstractTherapiddevelopmentofInternetandInter

4、netofThingsopenstheeraofbigdata.Currently,heterogeneousarchitecturesarebeingwidelyadoptedinlarge-scaledatacenters,forthesakeofperformanceimprovementandreductionofenergyconsumption.ThispaperpresentsthedesignandimplementationofHadoop+,aprogrammingframeworkthatimplem

5、entsMapReduceandenablesinvocationofparallelizedCUDA/OpenCLwithinamap/reducetask,andhelpstheuserbytakingadvantageofaheterogeneoustaskmodel.ExperimentalresultshowsthatHadoop+attains1.4×to16.1×speedupsoverHadoopforfivecommonlyusedmachinelearningalgorithms.Coupledwith

6、aheterogeneoustaskmodelthathelpsallocatecomputingresouces,Hadoop+bringsa36.0%improvementindataprocessingspeedforsingle-applicationworkloads,andformixedworkloadsofmultipleapplications,theexecutiontimeisreducedbyupto36.9%withanaverage17.6%.收稿日期：2015-12-27修回日期：2016-0

7、3-02基金项目：国家重点基础研究发展计划(973)(2011CB302504)；国家高技术研究发展计划(863)(2012AA010902、2015AA011505)；国家自然科学基金(61202055、61221062、61303053、61432016、61402445)作者简介：何文婷，博士研究生，研究方向为并行计算和机器学习算法；崔慧敏(通讯作者)，副研究员，研究方向为并行编程和编译，E-mail：cuihm@ict.ac.cn；冯晓兵，博士生导师，研究方向为编程模型和编译优化。第5卷第3期2016年5月集成技术

8、Vol.5No.3May2016JOURNALOFINTEGRATIONTECHNOLOGYKeywordsheterogeneous;datacenter;Hadoop+;MapReduce第5卷第3期2016年5月集成技术Vol.5No.3May2016JOURNALOFINTEGRATIONTEC