大数据管理概念、技术与挑战-厦门大学数据库实验室

《大数据管理概念、技术与挑战-厦门大学数据库实验室》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、大数据管理：概念、技术与挑战孟小峰慈祥(中国人民大学信息学院北京100872)BigDataManagement:Concepts,TechniquesandChallengesMengXiaofengandCiXiang(SchoolofInformation,RenminUniversityofChina,Beijing100872)Abstract:Datatypeandamountinhumansocietyisgrowinginamazingspeedwhichcausedbyemergingnewservicesuchasclou

2、dcomputing,internetofthingsandsocialnetwork,theeraofBigDatahascome.Datahasbeenfundamentalresourcefromsimpledealingobject,andhowtomanageandutilizebigdatabetterhasattractedmuchattention.Evolutionorrevolutionondatabaseresearchforbigdataisaproblem.Thispaperdiscussestheconceptof

3、bigdata,andsurveysitsstateoftheart.Theframeworkofbigdataisdescribedandkeytechniquesarestudied.Finallysomenewchallengesinthefuturearesummarized.KeywordsBigData;DataAnalysis;CloudComputing摘要云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来。数据从简单的处理对象开始转变为一种基础性资源，如何更好的管理和利用

4、大数据已经成为普遍关注的话题。大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生。本文对大数据的基本概念进行剖析，并对大数据的主要应用做简单对比。在此基础上，阐述大数据处理的基本框架，并就云计算技术对于大数据时代数据管理所产生的作用进行分析。最后归纳总结大数据时代所面临的新挑战。关键字大数据；数据分析；云计算中图法分类号TP3111、、、引言、引言随着以博客、社交网络、基于位置的服务LBS为代表的新型信息发布方式的不断涌现，以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断的增长和累积，

5、大数据时代已经来到。学术界、工业界甚至于政府机构都已经开始密切关注大数据问题，并对其产[1]生浓厚的兴趣。就学术界而言，Nature早在2008年就推出了BigData专刊。计算社区联盟(ComputingCommunityConsortium)在2008年发表了报告《Big-DataComputing:Creating[2]revolutionarybreakthroughsincommerce,science,andsociety》，阐述了在数据驱动的研究背景下，解决大数据问题所需的技术以及面临的一些挑战。Science在2011年2月推

6、出专刊[3]《DealingwithData》，主要围绕着科学研究中大数据的问题展开讨论，说明大数据对于科学研究的重要性。美国一些知名的数据管理领域的专家学者则从专业的研究角度出发，联[4]合发布了一份白皮书《ChallengesandOpportunitieswithBigData》。该白皮书从学术的角度出发，介绍了大数据的产生，分析了大数据的处理流程，并提出大数据所面临的若干挑战。全球知名的咨询公司麦肯锡(McKinsey)去年6月份发布了一份关于大数据的详尽报告[5]《Bigdata:Thenextfrontierforinnovati

7、on,competition,andproductivity》，对大数据的影响、关键技术和应用领域等都进行了详尽的分析。进入2012年以来，大数据的关注度与日俱增。1月份的达沃斯世界经济论坛上，大数据是主题之一，该次会议还特别针对大数据发布了报[6]告《BigData,BigImpact:NewPossibilitiesforInternationalDevelopment》，探讨了新的数据产生方式下，如何更好的利用数据来产生良好的社会效益。该报告重点关注了个人产生的移动数据与其他数据的融合与利用。3月份美国奥巴马政府发布了《大数据研究和发展

8、倡议》[7](BigDataResearchandDevelopmentInitiative)，投资2亿以上美元，正式启动“大数据发展计划”。计划在科学研究、环境、