第八讲挖掘频繁模式关联和相关ppt课件.ppt

《第八讲挖掘频繁模式关联和相关ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第八讲挖掘频繁模式、关联和相关1厦门大学软件学院MiningFrequentPatterns,AssociationandCorrelations基本概念和线路图有效的和可伸缩的频繁项集挖掘方法挖掘各种类型的关联规则（自学）关联规则到相关分析基于约束的关联规则（自学）小结2厦门大学软件学院WhatIsFrequentPatternAnalysis?频繁模式（Frequentpattern）:频繁地出现在数据集中的模式（项集，子序列或子结构等）。提出：Agrawal,Imielinski,andSwami[AIS93]动机：寻找数据内部隐

2、含的关联哪些商品频繁地被同时购买?—Beeranddiapers?!买了PC机之后客户经常还会购买哪些相关商品?哪种DNA对这种新病毒很敏感?我们能自动对Web上的文档进行分类吗?应用购物篮分析、交叉销售、目录设计、点击流分析、DNA序列分析……3厦门大学软件学院WhyIsFreq.PatternMiningImportant?挖掘数据集内在且重要的属性频繁模式是纵多数据挖掘基本任务的基础关联、相关与因果分析序列、结构（如“子图”）分析时空数据、多媒体数据、时间序列数据、流数据上的模式分析分类聚类分析:基于频繁模式的聚类数据仓库:冰山立

3、方体基于语义的数据压缩……4厦门大学软件学院关联规则的分类方法根据规则中所处理的值类型布尔关联规则：考虑项的“在与不在”量化关联规则：量化的项或属性之间的关联Age(X,”30~39”)∧income(X,”42~48K”)=>buys(X,”high_resolution_TV”)根据规则中所涉及的数据维(谓词)单维buys(X,”computer”)＝>buys(X,”financial_management_software”)多维:见上例根据规则集所涉及的抽象层：单层、多层Age(X,“30~39”)=>buys(X,”lapt

4、opcomputer”)Age(X,“30~39”)=>buys(X,”computer”)5厦门大学软件学院根据挖掘模式的完全性频繁项集的完全集、闭频繁项集和极大频繁项集、被约束的频繁项集、近似频繁项集……根据挖掘的规则类型分类关联规则、相关规则、强梯度联系等根据挖掘的模式类型分类频繁项集挖掘、序列模式挖掘、结构模式挖掘6厦门大学软件学院基本概念项集：ItemsetX={x1,…,xk}找出满足规则XY的最小支持度与置信度support,s,probabilitythatatransactioncontainsXYconfiden

5、ce,c,conditionalprobabilitythatatransactionhavingXalsocontainsYLetsupmin=50%,confmin=50%Freq.Pat.:{A:3,B:3,D:4,E:3,AD:3}Associationrules:AD(60%,100%)DA(60%,75%)CustomerbuysdiaperCustomerbuysbothCustomerbuysbeerTransaction-idItemsbought10A,B,D20A,C,D30A,D,E40B,E,F50B,C,

6、D,E,F7厦门大学软件学院关联规则形如A＝>B的蕴涵式(AI,BI,AB=)D={t1,t2,..tk..tn}tk={i1,i2,…im..ip},im称为项目ItemI={i1,i2,..,im}是项的集合规则A＝>B在数据集D中成立，具有支持度s和置信度c8厦门大学软件学院规则兴趣度的两个度量支持度(support):事务集中事务包含AB的百分比。——反映了规则的有用性Support(A＝>B)=P(AB)最小支持度阈值min_sup支持度计数置信度(confidence)：事务集中包含A的事务同时也包含B的百分比—

7、—反映了规则的确定性Confidence(A＝>B)=P(B

8、A)最小置信度阈值min_conf强规则：满足min_sup和min_conf的规则例如：Computer=>financial_management_software[support=2%,confidence=60%]9厦门大学软件学院有关概念项集：项的集合。K-项集：包含k个项的项集项集的频率：包含项集的事务数频繁项集：支持度不小于min_sup的项集挖掘关联规则的过程找出所有频繁项集（中心问题）由频繁项集产生强关联规则10厦门大学软件学院MiningFrequentP

9、atterns,AssociationandCorrelations基本概念和线路图有效的和可伸缩的频繁项集挖掘方法挖掘各种类型的关联规则关联规则到相关分析基于约束的关联规则小结11厦门大学软件学院Scal