基于MapReduce框架的海量数据相似性连接研究进展-论文.pdf

《基于MapReduce框架的海量数据相似性连接研究进展-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第42卷第1期计算机科学Vo1．42No．12015年1月ComputerScienceJan2015基于MapReduce框架的海量数据相似性连接研究进展庞俊于戈许嘉。谷峪(东北大学信息科学与工程学院沈阳110819)(国防科学技术大学信息系统与管理学院长沙410073)摘要海量数据相似性连接作为海量数据处理的基本操作，在文本聚类、剽窃检测、实体解析等研究领域具有重要作用。另一方面，MapReduce编程模型因为具有良好的可扩放性、容错性和易用性，被广泛地应用于海量数据处理。因此，基于MapReduce框架的海量数据相似性连接查询技术成为海量数据处理领域的热点问题之

2、一。首先，概括了海量数据固有特点和MapReduce编程框架的缺陷给现有相似性连接查询技术带来的巨大挑战；其次，提出了海量数据相似性连接的定义，按3种不同的分类标准对其进行了分类；接着，重点分析了集合、字符串和向量数据类型的海量相似性连接查询最新技术，并从效率和适用范围等方面分别对这些技术进行了比较；最后，讨论了海量数据相似性连接查询技术亟待解决的关键问题，并提出了一些有前景的解决方案。关键词海量数据，相似性连接，MapReduce，Top-k中图法分类号TP391文献标识码ADOI10．11896／j．issrL1002—137X2015．1．001Similari

3、tyJoinsonMassiveDataBasedonMapReduceFrameworkPANGJunYUGeXUJia2GUYu(SchoolofInformationScienceandEngineering，NortheasternUniversity，Shenyang110819，China)(SchoolofInformationSystemandManagement，NationalUniversityofDefenseTechnology，Changsha410073，China)0AbstractAsabasicoperationoflarge-sc

4、aledataprocessing，similarityjoinsonlarge-scaledataplayanimportantroleindocumentclustering，plagiarismdetection，entityresolutionandmanyotherfields．Ontheotherhand，theMapReduceprogrammingmodeliswidelyappliedtomassivedataprocessingbecauseofitsgoodscalability，faulttoleranceandusa—bility．There

5、fore，similarityjoinsonmassivedatabasedonMapReducebecomeoneofthehottopicsinthefieldofmas—sivedataprocessing．Firstly，bigchallengesofsimilarityjoinqueryintroducedbyrapidgrowthofdatavolumeweregen—eralized．Then，thedefinitionofsimilarityjoinsonmassivedatawaspresentedandsimilarityjoinsonmassiv

6、edatawereclassifiedaccordingtOthreedifferentstandards．Inaddition，thecurrentstatusofset，stringandvectorsimilarityjoinsonmassivedatawereemphaticallyanalyzedandcomparedfromtheaspectsofefficiency，applicabilityandSOon．Finally，theresearchfocusandtrendofthisareawereinvestigatedandthepromisings

7、olutionsweresuggested．KeywordsMassivedata，Similarityjoin，MapReduce，Took自2005年以来，IBM投资160亿美元完成了3O次与海量数1引言据有关的收购，促使其业绩稳定高速增长。2012年，IBM股海量数据一般指TB级及其以上的数据。海量数据不但价突破200美元大关，3年之内翻了3番_2]。eBay通过挖掘普遍存在，而且快速增长。在学术界和工业界可以产生超大海量数据来优化广告投放，从而使产品广告费自2007年以来规模的数据。例如：2000年斯隆数字巡天项目启动时，新墨降低了99，顶级