mapreduce数据分析

《mapreduce数据分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大规模数据分析方法对比AComparisonofApproachestoLarge-ScaleDataAnalysis作者1：AndrewPavlo，BrownUniversity1MapReduceandparallelDBMSs:friendsorfoes?朋友还是冤家2Acomparisonofapproachestolarge-scaledataanalysis3H-store:ahigh-performance,distributedmainmemorytransactionprocessings

2、ystem4TheNMIbuild&testlaboratory:continuousintegrationframeworkfordistributedcomputingsoftware5Smoothertransitionsbetweenbreadth-first-spanning-tree-baseddrawings主要做Hadoop(Mapreduce)和并行数据库管理系统比较，用于大规模数据集分析。作者简介作者2ErikPaulson，UniversityofWisconsin1MapReduce

3、andparallelDBMSs:friendsorfoes?2Acomparisonofapproachestolarge-scaledataanalysis3Clustera:anintegratedcomputationanddatamanagementsystem和第一作者一样，主要做Hadoop(Mapreduce)和并行数据库管理系统比较，用于大规模数据集分析。作者3AlexanderRasin，BrownUniversity1CORADD:correlationawaredatabasedes

4、ignerformaterializedviewsandindexes2MapReduceandparallelDBMSs:friendsorfoes?3HadoopDB:anarchitecturalhybridofMapReduceandDBMStechnologiesforanalyticalworkloads4Correlationmaps:acompressedaccessmethodforexploitingsoftfunctionaldependencies5Acomparisonofappr

5、oachestolarge-scaledataanalysis6H-store:ahigh-performance,distributedmainmemorytransactionprocessingsystem作者在本文的基础上，设计了HadoopDB系统，一个Mapreduce和并行数据库管理系统结合的系统。摘要目前有相当大的兴趣在基于MapReduce（MR）模式的大规模数据分析。虽然这个框架的基本控制流已经存在于并行SQL数据库管理系统超过20年，也有人称MR为最新的计算模型。在本文中，我们描述和比

6、较这两个模式。此外，我们评估两个系统的性能和开发复杂度。最后，我们定义一个包含任务集的基准运行于MR开源平台和两个并行数据库管理系统上。对于每个任务，我们在100台机子的集群上衡量每个系统的各个方面的并行性能。我们的研究结果揭示了一些有趣的取舍。虽然加载数据和调整并行数据库管理系统执行的过程比MR花费更多的时间，但是观察到的这些数据库管理系统性能显著地改善。我们推测巨大的性能差异的原因，并考虑将来的系统应该从这两种架构中吸取优势。ABSTRACT：Thereiscurrentlyconsiderableen

7、thusiasmaroundtheMapReduce(MR)paradigmforlarge-scaledataanalysis.AlthoughthebasiccontrolflowofthisframeworkhasexistedinparallelSQLdatabasemanagementsystems(DBMS)forover20years,somehavecalledMRadramaticallynewcomputingmodel.Inthispaper,wedescribeandcomparebo

8、thparadigms.Furthermore,weevaluatebothkindsofsystemsintermsofperformanceanddevelopmentcomplexity.Tothisend,wedefineabenchmarkconsistingofacollectionoftasksthatwehaverunonanopensourceversionofMRaswellasontwopar