资源描述：
《架构大数据挑战、现状与展望》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第34卷第10期计算机学报Vol.34No.102011年10月CHINESEJOURNALOFCOMPUTERSOct.2011架构大数据:挑战、现状与展望1),2)1),2)1),2)1),2)王珊王会举覃雄派周烜1)(数据工程与知识工程教育部重点实验室(中国人民大学)北京100872)2)(中国人民大学信息学院北京100872)摘要大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点.为了设计适合大数据分析的数据仓库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实
2、现平台并行数据库、MapReduce及基于两者的混合架构进行了分析归纳,指出了各自的优势及不足,同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍,对未来研究做了展望.关键词大数据;大规模可扩展;MapReduce;并行数据库;深度分析中图法分类号TP311DOI号:10.3724/SP.J.1016.2011.01741ArchitectingBigData:Challenges,StudiesandForecasts1),2)1),2)1),2)1),2)WANGShanWANGHu-iJuQINXiong-P
3、aiZHOUXuan1)(KeyLaboratoryofDataEngineeringandKnowledgeEngineering(RenminUniversityofChina)ofMinistryofEducation,Beijing100872)2)(SchoolofInformation,RenminUniversityofChina,Beijing100872)AbstractComparedwithtraditionaldatawarehouseapplications,bigdataanalyticsarehugeandco
4、mplex.Todesignafavorablearchitectureforbigdataanalytics,thispaperlistssomekeyfea-turesforbigdataanalytics,summarizescurrentmainimplementationplatforms(paralleldatabas-es,MapReduce,andhybridarchitecturesbasedonthem),andpointstheirprosandcons.Somecurrentresearchesarealsoinvesti
5、gated,ourworkareintroducedandsomechallengingresearchproblemsinthefuturearediscussed.Keywordsbigdata;largescale;MapReduce;paralleldatabase;deepanalytics系统实现方案(主要是并行数据库和MapReduce)1引言进行重新审视,期望能为设计满足时代需求的数据仓库系统提供理论参考.限于篇幅,本文主要关注不最近几年,数据仓库又成为数据管理研究的热同数据仓库实现方案的主体架构及其缺陷在最近几点领域,主要
6、原因是当前数据仓库系统面临的需求年的改进情况.依据研究立足点的不同,本文将该领在数据源、需提供的数据服务和所处的硬件环境等域的研究归为三大类:并行数据库、MapReduce、并方面发生了根本性的变化(详见11节),这些变化行数据库和MapReduce技术的混合架构.其中第三是我们必须面对的.类研究又细分为:并行数据库主导型、MapReduce本文在大数据的时代背景下,对现有数据仓库主导型、并行数据库和MapReduce集成型三种.本收稿日期:2011-08-12;最终修改稿收到日期:2011-09-15.本课题得到国家重大科技专项核高基项目(2
7、010ZX01042-001-002)、国家自然科学基金(61070054,61170013)、中国人民大学科学研究基金(中央高校基本科研业务费专项资金,10XNI018)、中国人民大学研究生基金(11XNH120)资助.王珊,女,1944年生,教授,博士生导师,中国计算机学会(CCF)高级会员,主要研究领域为高性能数据库、知识工程、数据仓库.E-mail:swang@ruc.edu.cn.王会举,男,1979年生,博士研究生,主要研究方向为大规模集群数据库、内存数据库.E-mail:wanghuiju@ruc.edu.cn.覃雄派,男,197
8、1年生,博士,讲师,中国计算机学会(CCF)会员,主要研究方向为数据库查询优化、内存数据库、并行数据库.周烜,男,1979年生,博士,
