数据挖掘中关联规则算法的改进与并行化处理

《数据挖掘中关联规则算法的改进与并行化处理》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文数据挖掘中关联规则算法的改进与并行化处理董金凤哈尔滨理工大学2016年3月国内图书分类号：TP311工程硕士学位论文数据挖掘中关联规则算法的改进与并行化处理硕士研究生：董金凤导师：孙名松申请学位级别：工程硕士学科、专业：计算机技术所在单位：计算机科学与技术学院答辩日期：2016年3月授予学位单位：哈尔滨理工大学ClassifiedIndex：TP311DissertationfortheMasterDegreeinEngineeringImprovementandParallelProcessingofAssociat

2、ionRulesAlgorithmonDataMiningCandidate：DongJinFengSupervisor：SunMingSongAcademicDegreeAppliedfor：MasterofEngineeringSpecialty：ComputerTechnologyDateofOralExamination：March,2016University：HarbinUniversityofScienceandTechnology哈尔滨理工大学硕±学位论文原创性声明－本人郑重声明：比处所提交的硕：ｔ学位论文《数掘挖

3、掘中关联规则算法研究与并行化处理》，是本人在导师指导下，在哈尔滨理工大学攻巧硕ｉ学位期间独立进行研究工作所取得的成果。据本人所知，论文中餘已注明部分外不包含他人已发表或撰写过的研究成果。巧本文研究工作做出贡献的个人和集体，均己在文中明确义式巧明。本声明的法律结果将完全山本人承担。。占／作者签名Ｈ期：年１支１＾哈尔滨理工大学硕±学位论文使用授权书ｉ《Ｉ：数据松搞川关联规则算巧的改进巧并社化处理》系本人化哈尔尉｜ＬＴ人７－｜：．１学位蝴刚化巧帅指巧下完成的硕学位论文。本论文的研究成也］攻改倾１哈；Ｉ

4、。尔滨理；火学所軒，本论义的研究内容不得其化单化的名义发来木人完全了解哈滨則，：ｒ；大巧乂于保存、化用学位论文的规定村意学巧保掛化向打义：１；部鬥巧巧论文和电子版本，允许论文被谊阅和借阅。本人授权哈尔巧现乂学可Ｗ采化腺印、缩印或巧他贷制手段保荐论文，可Ｗ公布论文的全部或部分闲容。本巧位论文屈Ｔ保密，在年解密后适用授化书。Ｉ□不保密０。（博在上相应方框内打Ｖ）２Ｊ作者签名：ＦＩ期：Ｉ年ＰＩｊ：导师签名：鬥期从＾年Ｆ１＾哈尔滨理工大学工程硕士学位论文数据挖掘中关联规则算法的改进

5、与并行化处理摘要关联规则挖掘是数据挖掘的一个重要研究课题，其主要目地是发现数据之间的相关性。针对关联规则挖掘在处理大数据集遇到的瓶颈问题，分析造成关联规则挖掘算法低效的原因，对关联规则挖掘算法Apriori和FP-Growth(FrequentPatternGrowth)的挖掘过程进行了深入研究。基于候选集的Apriori算法在挖掘关联规则时，需要多次扫描数据库，占用大量的I/O资源，算法效率降低；无候选集的FP-Growth算法在运行过程中只需扫描两次数据库，在处理海量数据时，FP-Tree的存储操作会消耗大量的内存。针对两个算法存

6、在的问题，主要研究内容如下：Apriori算法的改进。针对基于候选集的Apriori算法处理数据效率较低问题，通过去除候选集并结合布尔矩阵的方式来压缩存储事务数据，提出了Apriori的改进算法，改进算法通过条件连接矩阵后直接生成频繁项集，可以大幅减少扫描数据库的次数，提高处理效率。FP-Growth算法的改进。针对无候选集的FP-Growth算法运用频繁模式树存储数据浪费内存问题，使用差集和剪枝技术对垂直存储的事务数据进行关联挖掘，提出FP-Growth的改进算法，有效的减少了内存的消耗。并行化处理为处理海量数据提供了一个新的解决方

7、案。课题在优秀的并行化框架CPU/GPU上对Apriori改进算法和FP-Growth改进算法进行并行化处理。并行系统上，算法的逻辑处理部分在CPU中实现，并行处理部分在GPU中实现，利用各自性能优势提升算法性能。通过实例验证得出改进后的Apriori算法与FP-Growth算法的并行化运算效率得到提高，算法在运行的过程中节省了大量内存空间。关键词数据挖掘；关联规则；Apriori算法；FP-Growth算法；-I-哈尔滨理工大学工程硕士学位论文ImprovementandParallelProcessingofAssociation

8、RulesAlgorithmonDataMiningAbstractThemainpurposeofminingassociationruleswhichisamainaspectindataminingistofind