典型大数据计算框架分析 - ZTE Corporation

《典型大数据计算框架分析 - ZTE Corporation》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ZTETECHNOLOGYJOURNAL专题赵晟等典型大数据计算框架分析DOI：10.3969/j.issn.1009-6868.2016.02.004网络出版地址：http://www.cnki.net/kcms/detail/34.1228.tn.20160223.1346.002.html典型大数据计算框架分析TypicalBigDataComputingFrameworks中图分类号：TP393文献标志码：A文章编号：1009-6868(2016)02-0014-005赵晟/ZHAOSheng姜进磊/JIANGJinlei摘要：认为大数据计算技

2、术已逐渐形成了批量计算和流计算两个技术发展方向。（清华大学计算机科学与技术系，北京批量计算技术主要针对静态数据的离线计算，吞吐量好，但是不能保证实时性；流100084）计算技术主要针对动态数据的在线实时计算，时效性好，但是难以获取数据全貌。(DepartmentofComputerScienceand从可扩展性、容错性、任务调度、资源利用率、时效性、输入输出（IO）等方面对现有Technology,TsinghuaUniversity,Beijing100084,China)的主流大数据计算框架进行了分析与总结，指出了未来的发展方向和研究热点。关键词：

3、大数据分类；大数据计算；批量计算；流计算；计算框架Abstract:Bigdatacomputingtechnologieshavetwotypicalprocessingmodes:batchcomputingandstreamcomputing.Batchcomputingismainlyusedforhigh-throughputprocessingofstaticdataanddoesnotproduceresultsinrealtime.Streamcomputingisusedforprocessingdynamicdataonlinein

4、realtimebuthas年来，随着互联网进入Web2.0difficultyprovidingafullviewofdata.Inthispaper,weanalyzesometypicalbigdata近时代以及物联网和云计算的迅computingframeworksfromtheperspectiveofscalability,fault-tolerance,taskscheduling,resourceutilization,realtimeguarantee,andinput/output(IO)overhead.猛发展，人类社会逐渐步入了

5、大数据Wethenpointsoutsomefuturetrendsandhotresearchtopics.时代。根据维基百科的描述，所谓的Keywords:bigdata;bigdatacomputing;batchcomputing;streamcomputing;大数据，是指所涉及的数据量规模巨computingframework大，无法通过人工在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。大数据在带来发展机遇的同时，也带来了新的挑战，催生了新技术的发展和旧技术的革新。例如，不断增长的数据规模和数存储进行总结，详述了文件系统、

6、数算框架来完成大数据的处理和分析据的动态快速产生要求必须采用分据库系统、索引技术，因此文中将重任务。作为分布式计算框架，不仅要布式计算框架才能实现与之相匹配点对大数据计算框架进行分析。提供高效的计算模型、简单的编程接的吞吐和实时性，而数据的持久化保口，还要考虑可扩展性和容错能力。存也离不开分布式存储。1大数据计算技术面临的作为大数据处理的框架，需要有高效图1展示了大数据应用的一般架问题与挑战可靠的输入输出（IO），满足数据实时构，其中的核心部分就是大数据计算大数据计算技术采用分布式计处理的需求。当前大数据处理需要框架和大数据存储。大数据存储提供可靠的数

7、据存储服务，在此之上搭应用程序建高效、可扩展、可自动进行错误恢集集应用程序支撑：基础类库任复的分布式大数据计算框架，计算依群群务赖存储，两者共同构成数据处理的核监协大数据计算框架队控作（批量计算，流计算技术）列心服务。由于文献[1]已经对大数据大数据存储（分布式文件系统、NoSQL……）收稿时间：2016-01-10操作系统网络出版时间：2016-02-23基金项目：国家高技术研究发展（“863”）物理集群计划（2013AA01A213）；国家自然科学基金(61572280、61433008、U1435216、图1▶61373145）大数据应用的一般性

8、架构NoSQL：非关系型的数据库中兴通讯技术142016年4月第22卷第2期Apr.2016V