基于MapReduce的大数据时代数据处理技术研究.pdf

《基于MapReduce的大数据时代数据处理技术研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、ISSN1O09-3044E—mail：whx@dnzs．net．anComputerKnowledgeandTechnology电脑知识与技术http：／／www．dnzs．net．anVo1．11，No．10，April2015Te1：+86-551-6569096365690964基MapReduce的大数据时代数据处理技术研究杜艳绥(辽宁行政学院，辽宁沈阳110161)摘要：最近几年，随着互联网技术和云计算技术的极大普及和广泛应用，网络中的数据正在以前所未有的迅猛速度增长和积累。根据Facebook的统计，每天将近产生500TB的数据

2、，可见大数据时代已经开始走入了我们的生活之中，那么如何能够更好的对这些隐藏的数据进行分析和挖掘有价值的数据便显得尤为重要，在这样的大数据环境之下，传统的数据库很难解决和处理如此庞大的数据，因此，基于MapReduce的数据处理方式变成为主流技术致意。大数据时代的到来，让我们感受着信息的便捷、获取着巨大的利益，同时，也为我们带来了从未有过的挑战。关键词：MapReduce；Hadoo；大数据时代；数据挖掘中图分类号：TP391文献标识码：A文章编号：1009-3044(2015)10-0001-02ResearchonDataProcessin

3、gTechnologyofMapReduceBasedontheBigDataEraDUYan-sui(LiaoningAdministrationInstitute，Shenyang110161，China)Abstract：inrecentyears，alongwiththegreatpopularityandwideapplicationofInternettechnologyandcloudcomputingtech—nology，networkdataisgrowingatarapidrateofgrowthandtheaccumu

4、lationofhithertounknown，accordingtoFacebookstatis-tics，nearlyeverydayfrom500TBdata，theeraofbigdatahasbeguntovisibleinourlives，thenhowcanthebettertheanalysisandminingofvaluabledataisthehiddendataisparticularlyimportant，underthebigdataenvironment，thetraditionaldatabaseisveryd

5、ificulttosolveanddealwithsuchalargeamountofdata，therefore，theMapReducebaseddataprocessingmethodintothemainstreamtechnology．Theeraofbigdata，letUSfeeltheinformationconvenient，accesstoahugeinterest，atthesametime，ithasneverbeenbroughtchallengesforUS．Keywords：MapReduce；Hadoo；the

6、eraofbigdata；datamining自从2004年Google提出了MapReduee的这种并行编程环理分析数据的能力的数据集。境以来，这种基于MapReduce的算法便在日益倍受关注的大数1．2大数据的特点据领域得到广泛应用。诸如雅虎中国(Yahoo)、脸谱Face．在我们生活存在的大数据时代，受到了各界人士的广泛关book)、亚马迅Amazon)等知名大型的互联网公司也都纷纷的注，目前对于大数据的特点主要是按照GrobelnikM．所给出的应用MapReduce来处理大数据的相关问题。与此同时，学术界3V的阐述。即：1)规模性(

7、Volume)，数量庞大、规模扩充；2)多等科研部门也开始对MapReduce的相关算法进行研究，极其有样性(Variety)，包含了传统数据库的结构化数据，已经半结构效的推动了MapReduce的相关知识内容的发展。或无结构化的数据；3)高速性(Velocity)，主要体现在对大数据1大数据时代的相关背景的产生和更新的频率上面，时刻都在产生和更新着庞大的数据。1．1大数据的概念另外，目前对于大数据的特点，还有一点被人们所关注，那“大数据”这三个字在电视、报纸、网络等媒体中每天都会就是价值性(Value)，因为现在大数据的环境之下，有些大数据

8、听到，人们越来越关注大数据这样一个概念，尤其随着互联网并不是有价值的，只有具备价值的大数据才是真正的大数据。的发展与普及，以及云计算等相关技术的诞生和发展，互联网1