分布式关联规则挖掘算法的研究与应用

《分布式关联规则挖掘算法的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、RESEARCHoNDISTRIBUTEDASSoCIATIoNRULESMININGALGORITHMANDITSAPPLICATIoNSThesisSubmittedtoZhejiangNormalUniversityinpartialfulfillmentoftherequirementforthedegreeofMasterofEngineerByLiuQun(ComputerSoftware&Theory)ThesisSupervisor：ProfeJiaJion91laeSlSrrolessorJnMay，2011卜二

2、二『lI’!r∥t嚣一㈡．傍；A嚣，aq恿，，j7著-_f‘j馐—，。，I‘·再．

3、疆●JIjl口3誓耍■誓jlr；]分布式关联规则挖掘算法的研究与应用摘要lIIIIIIIIIil11ITIIlY1949657近些年来信息技术飞速发展，特别是数据库技术的更新换代，各个领域的数据都出现了爆炸性增长。与此形成鲜明对比的是，从数据中提炼出来的对人们决策有价值的知识却十分匮乏。数据挖掘正是在这一背景下诞生的一门新学科。关联规则挖掘是数据挖掘领域当前研究的主要热点之一，用于确定数据集中不同数据项或属性之间的联系，找出有价值的多个域之间的依赖

4、关系。关联规则挖掘具有计算量大，FO负载集中的特点，一方面，许多关联规则的实际应用涉及到海量数据，即使对算法进行了优化，在单处理机上使用串行算法进行挖掘所需要的时间可能也是无法接受的；另一方面，在实际的应用领域，业务数据存储于多个地点，各个站点之间需要共享全局规则模式，而且这些站点的数据有可能会发生一些动态地增量变化，在这种情况下，必须依靠高性能分布式关联规则挖掘来有效地完成挖掘任务。频繁项集挖掘是生成关联规则的关键步骤，其效率问题是关联规则挖掘中的一大难点和热点。在前人研究的基础上，论文基于分布式环境中的数据集，和所涉及到的算法

5、数据结构，对全局频繁项集的挖掘问题进行了深入的分析和研究，从分布式环境挖掘中的剪枝策略、网络通信策略和增量挖掘方法等角度着手，进一步改进了全局频繁项集的挖掘算法，文章的最后还例举了算法的应用。概括一下本文工作，主要包括以下几个方面：(1)提出一种基于频繁模式树与最大频繁项集的分布式全局频繁项集挖掘算法BFM．MGFIS。该算法引入子集枚举树以实现有序挖掘与优化全局剪枝策略，有效地减小了候选项集且提高了并行性，最后，通过实验证明提出的算法是有效可行的。(2)讨论数据更新情况下规则模式的维护与更新，提出一种增量式的分布式全局频繁项集挖

6、掘算法，该算法基于CanTree前缀树，使得频繁模式不再依赖于频繁1项目集序列，而是由用户指定的某一序列，据此对数据项进行排序，这样数据项的排序与更新无关，且树中保留了数据库的所有信息，仿真实验证明提出的方法是有效可行I的。(3)围绕提出的两种算法实现了分布式关联规则挖掘模拟系统，将两种算法应用于实际的生物学数据分析中，以发现野生蘑菇的性状与其毒性的关联关系。关键词：数据挖掘；关联规则；分布式挖掘；子集枚举树；全局频繁项集IIRESEARCHoNDISTRIBUTEDASSoCIATIONRULESMININGALGoIUTHMA

7、NDITSAPPLICATIoNSABSTRACTWiththerapiddevelopmentofinformationtechnologyinrecentyears，inparticulartheupgradingofdatabasetechnology,dataexplosivegrowthisshowninvariousfields．Insharpcontrast,thevaluableknowledgeextractedfromthedatafordecisionisveryscarce．Dataminingisanew

8、subjectthatemergesinthebackground．TheassociationruleminingisoneofthemainfocusofcurrentDataminingresearchareawhichisusedtodeterminetherelationshipamongdifferentitemsorattributesindataset，inordertofreddependentrelationsamongvaluablemultipledomains．However,associationrul

9、eminingischaracterized诵thlargecomputationandconcentratedI／0load．Ontheonehand,associationrulesinvolveshugeamountsofdatainprac