数据挖掘技术及应用(我见过的最全面的理论+最佳案例组合)

《数据挖掘技术及应用(我见过的最全面的理论+最佳案例组合)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据挖掘技术及应用最全面理论+最佳实践目录理论：南航李静教授实践：广东移动案例（仅供学习交流，如需引用，请注明以上来源单位，谢谢！）内容提纲1.概述2.数据仓库与OLAP技术3.数据挖掘技术4.数据挖掘在电信领域的应用数据挖掘工具6.数据挖掘实例内容提纲数据挖掘介绍数据挖掘系统数据挖掘算法国际会议和期刊课后研读的论文主要参考资料数据挖掘介绍数据挖掘的由来数据挖掘的应用基本概念区分数据挖掘基本内容数据挖掘基本特征数据挖掘的其他主题数据挖掘的由来背景网络之后的下一个技术热点数据爆炸但知识贫乏从商业数据到商业信息的进化

2、背景人类已进入一个崭新的信息时代数据库中存储的数据量急剧膨胀二十世纪末以来，全球信息量以惊人的速度急剧增长—据估计，每二十个月将增加一倍。许多组织机构的IT系统中都收集了大量的数据（信息）。目前的数据库系统虽然可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。为了充分利用现有信息资源，从海量数据中找出隐藏的知识，数据挖掘技术应运而生并显示出强大的生命力。产生了一个新的研究方向：基于数据库的知识发现（KnowledgeDiscoveryinDatab

3、ase），以及相应的数据挖掘（DataMining）理论和技术的研究随着大数据库的建立和海量数据的不断涌现，必然提出对强有力的数据分析工具的迫切需求。但现实情况往往是“数据十分丰富，而信息相当贫乏。”快速增长的海量数据收集、存放在大型数据库中，没有强有力的工具，理解它们已经远远超出人的能力。因此，有人称之为：“数据坟墓”。由于专家系统工具过分依赖用户或专家人工地将知识输入知识库中，而且分析结果往往带有偏差和错误，再加上耗时、费用高，故不可行。数据矿山信息金块数据挖掘工具网络之后的下一个技术热点大量信息在给人们带来

4、方便的同时也带来了一大堆问题：信息过量，难以消化信息真假难以辨识信息安全难以保证信息形式不一致，难以统一处理数据爆炸但知识贫乏随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。从商业数据到商业信息的进化进化阶段商业问题支持技术产品厂家产品特点数据搜集(60年代)“过去五年中我的总收入是多

5、少？”计算机、磁带和磁盘IBMCDC提供历史性的、静态的数据信息数据访问(80年代)“在新英格兰的分部去年三月的销售额是多少？”关系数据库(RDBMS)结构化查询语言(SQL)ODBCOracleSybaseInformixIBMMicrosoft在记录级提供历史性的、动态数据信息数据仓库决策支持(90年代)“在新英格兰的分部去年三月的销售额是多少？波士顿据此可得出什么结论？”联机分析处理(OLAP)多维数据库数据仓库PilotComshareArborCognosMicrostrategy在各种层次上提供回溯的

6、、动态的数据信息数据挖掘（正在流行）“下个月波士顿的销售会怎么样？为什么？”高级算法多处理器计算机海量数据库PilotLockheedIBMSGI其他初创公司提供预测性的信息KDD的出现数据挖掘是八十年代投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴的，面向商业应用的AI研究。基于数据库的知识发现（KDD）一词首次出现在1989年举行的第十一届AAAI学术会议上。1995年在加拿大蒙特利尔召开了第一届KDD国际学术会议（KDD’95）。由KluwersPublishers出版，1997年创刊的《

7、KnowledgeDiscoveryandDataMining》是该领域中的第一本学术刊物。KDD的出现随后，在1991年、1993年和1994年都举行KDD专题讨论会，汇集来自各个领域的研究人员和应用开发者，集中讨论数据统计、海量数据分析算法、知识表示、知识运用等问题。最初，数据挖掘是作为KDD中利用算法处理数据的一个步骤，其后逐渐演变成KDD的同义词。数据挖掘数据库技术统计学高性能计算人工智能机器学习可视化数据挖掘是多学科的产物KDD已经成为人工智能研究热点目前，关于KDD的研究工作已经被众多领域所关注，如过

8、程控制、信息管理、商业、医疗、金融等领域。作为大规模数据库中先进的数据分析工具，KDD的研究已经成为数据库及人工智能领域研究的一个热点。数据挖掘的应用电信：流失银行：聚类（细分）,交叉销售百货公司/超市：购物篮分析（关联规则）保险：细分，交叉销售，流失（原因分析）信用卡：欺诈探测，细分电子商务：网站日志分析税务部门：偷漏税行为探测警察机关：犯罪行为分析医学：医疗保健英国电