基于mapreduce的并行关联规则算法在社区分析中的应用研究

《基于mapreduce的并行关联规则算法在社区分析中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、分类号：幽密级：公匠UDC：．．．．．．．．．．．．．．．．．．．．．．．．——单位代码：!QQZ鱼工程硕士学位论文基于MapReduce的并行关联规则算法在社区分析中的应用研究作者姓名：崔磊指导教师：申艳光教授企业导师：韩岳谷工程师申请学位级别：工程硕．上工程领域：计算机技术所在单位：信息与电气工程学院授予学位单位：河北工程大学万方数据ADissertationSubmittedtoHebeiUniversityofEngineeringFortheAcademicDegreeofMasterofEngineering0IIIIIIlUlIIIIIIIIIIllIIIIIY2733566Th

2、eparallelassociationrulesalgorithmbasedonMapReduceintheapplicationofcommunityanalysisresearchCandidate：CUlLeiSupervisor：Prof．ShenYan-guangCorporateMentor：SeniorEngineerHanYue-guAcademicDegreeAppliedfor：MasterofEngineeringSpecialty：ComputerTechnologyCollege／Department：SchoolofInformationandElectrical

3、EngineeringHebeiUniversityofEngineeringDecember,2014万方数据独创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不合任何其他个人或集体己经发表或撰写过的研究成果，也不包含为获得河北工程大学或其他教育机构的学位或证书而使用过的材料。对本文的研究做出重要贡献的个人和集体，均已在论文中作了明确的说明并表示了谢意。本人完全意识到本声明的法律结果由本人承于日-。学位论文作者签名：襁名签字日期：、·1多年f月5日学位论文版权使用授权书本学位论文作者完全了解河北工程大学有关保留、使

4、用学位论文的规定。特授权河北工程大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和电子文档。(保密的学位论文在解密后适用本授权说明)学位论文作者签名：崔氖签字日期-训多年1月l：；日导师虢冲jc巩签字日期：办f3-年1月3-日万方数据摘要摘要由于信息科技的快速发展和互联网社区应用在全球进一步的普及，随之而来的数据相应也呈现出了“海量化”的趋势。面对愈加庞大的网络社区数据，若有方法能快速精准的从这些看似杂乱无章的数据中挖掘出潜在的信息和知识，将会使IT企业在“大数据时代”牢牢占据主导地

5、位。目前关联规则算法已经在许多领域的数据挖掘巾应用广泛，但由于数据规模“海量化”的演变，传统的关联规则算法已经无法像原来一样高效的对数据进行处理，无论性能和还是运算效率都大打折扣。云计算技术的发展带给了关联规则挖掘算法一次新的技术革新。云计算技术以其在海量数据处理时安全可靠性强，可以动态扩充存储和计算能力等天然优势。若能将关联规则挖掘算法针对“云模式”进行相应的改进，并部署到云计算平台上，进而寻找解决网络社区中海量数据挖掘难题的新方法。本文针对传统的Apriori关联规则算法在海量数据处理时的弊端进行算法分析，结合开源Hadoop平台在集群中表现出来的强大优势，设计并实现了基于MapReduc

6、e框架下的AprioriTid—Partition算法。最后对AprioriTid．Partition算法进行了数据对比实验和加速比测试，得到性能良好算法的同时进一步将其应用到海量社区数据的分析中。通过验证，该算法对社区中海量数据的处理效率相比传统关联规则算法有明显的提升，并表现出了良好的扩展性和加速比。关键词：关联规则；云计算；Hadoop：MapReduce万方数据AbstractAbstractDuetorapidlydevelopmentoftheinformationtechnologyandfurtherpopularizationoftheInternetapplication，

7、thissituationleadtotheresuItthatthedatarevealedatrendofquantitativesea．Facingtheincreasinglydataoflargecommunity，ifwecanexcavatepotentialinformationandknowledgefromthevastamountofdataseemingcomplexand