基于mapreduce的改进的apriori算法及其应用研究

《基于mapreduce的改进的apriori算法及其应用研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第44卷第6期计算机科学Vo1.44No.62017年6月COMPUTERSCIENCEJune2017基于MapReduce的改进的Apriori算法及其应用研究赵月任永功刘i羊(辽宁师范大学计算机与信息技术学院大连116029)摘要随着移动通信和互联网技术的迅猛发展，如何高效地分析移动用户的需求并及时推送有用信息成为数据挖掘领域的热点之一。针对上述问题，提出一种基于云计算Hadoop平台的分布式关联规则岛1RS-Apriori算法。该方法在经典Apriori算法的基础上优化了数据库编码规则，增加了判断标记Judgemark来判断事务项是否频繁，提高了M

2、RS-Apriori算法在连接时扫描数据库的效率。在编码的基础上，采用Hadoop平台下的MapReduce编程框架模型实现并行化处理，提高了迭代时连接步骤的效率，降低了大规模数据样本运算的时间开销。实验结采表明，改进的MRS-Apriori算法可以有效地减少运算时间，在处理大规模数据集上具有较高的准确性。关键词编码规则，关联规则，频繁项集，MapReduce框架中图法分类号TP39文献标识码A00110.11896/j.issn.1002-137X.2017.06.043ImprovedAprioriAlgorithmandItsApplicatiooß

3、ased00MapReduceZHAOYueRENYong-gongLIUYang(SchoolofComputerandInformationTechnology,LiaoningNormalUniversity,Dalian116029,China)AbstractWiththerapiddevelopmentofmobilecommunicationsandlnternettechnology,itbecomesoneofthehotis•suesinthefieldofdataminingthathowtoanalyzetherequirement

4、sofmobileusersefficientlyandsendusefulinformationsintime.Inordertorecommendtheanalysisresulttousersefficientlyandtimely,aminingmethodnamedMRS•ApriorialgorithmbasedonMapReducewasproposed.ThismethoddefinesakindofcodingruletooptimizedatabasebasedonclassicalApriorialgorithm.Ajudgingma

5、rknamedJudgemarl王isaddedtodatabasetodecidewhetherthetransactiondatabaseisfrequent.ThismechanismimprovestheefficiencyofMRS-Apriroialgorithminconnectingdatabasetoscandatabaseefficiently.Onthebasisofencodingrules,theMRS-ApriroialgorithmusesMapReduceprogram•mingframeworkmodelunderHado

6、optoachieveparallelprocessing.Itimprovestheperformanceofiterationwhenconnectingprocessandreducesthetimeindealingwithlarge-scaledata.TheexperimentresultsshowthatMRS-Apriroialgorithmcaneffectivelyreducetimeandhavehighaccuracyinhandlinglargedatasets.KeywordsCodingrules,Associationrul

7、es,Frequentitemsets,MapReduceframework2)多次扫描全局事务数据库极大地增加了时间开销。引言为了弥补以上缺点，以更高效、快捷地进行关联规则挖随着移动通信技术和互联网技术的融合发展，新兴移动掘，许多改进的Apriori算法囚.10J被提出。Benjamin等人[5J提设备和服务也相应产生[lJ。人们越来越多地通过移动应用获出一种可扩展的pcApriori算法，即通过改进生产者消费者取生活娱乐、导航、在线社交等各种服务[2J。人们在享受种类处理方案，在加工和销售的过程中划分数据给可用线程，并将繁多的移动应用给生活带来便利的同

8、时，也面临着海量无关其扩展到多处理器大型数据集上。郭建等人[6J提