unit8数据挖掘的概念.ppt

《unit8数据挖掘的概念.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、UNITeight数据挖掘的概念1学完本讲后，你应该能够了解：数据挖掘是一门交叉学科;数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘产生的内容(或知识)包括广义知识、关联知识、分类知识、预测型知识、偏差型知识等挖掘的数据对象是多样的,可以是关系数据库、数据仓库、高级数据库、flat文件和WWW等数据挖掘的常用技术包括人工神经网络、决策树、遗传算法、近邻算法、规则推导等本讲主要目标2一．数据挖掘技术的由来二．数据挖掘的定义三．数据挖掘研究内容和本质四．在何种数据上进行数据挖掘五.数据挖掘的功能

2、六.所有模式都是有用的吗?七.数据挖掘系统的分类八.数据挖掘常用技术九.数据挖掘工具十.数据挖掘的热点和主要问题内容提纲3数据挖掘技术的由来4数据挖掘技术的由来信息技术的下一个技术热点大量信息在给人们带来方便的同时也带来了一大堆问题：第一是信息过量，难以消化；第二是信息真假难以辨识；第三是信息安全难以保证；第四是信息形式不一致，难以统一处理。5数据挖掘技术的由来信息技术的下一个技术热点人们开始提出一个新的口号：“要学会抛弃信息”人们开始考虑：“如何才能不被信息淹没，而是从中及时发现有用的知识、提高信息利用率？”面对这一挑战，数据挖掘和知识发现（DataMiningandKnowledgeDi

3、scovery）技术应运而生，并显示出强大的生命力6数据挖掘技术的由来数据爆炸但知识贫乏随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。数据的丰富带来了对强有力的数据分析工具的需求，快速增长的海量数据、存放在大型和大量数据库中，没有强有力的工具，理解这些数据已远远超出了人的能力7数据挖掘技术的由来数据爆炸但知识贫乏8数据挖掘技术的由来数据爆炸但知识贫乏目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未

4、来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。9数据挖掘数据库越来越大可怕的数据有价值的知识10数据挖掘技术的由来支持数据挖掘技术的基础数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。现在数据挖掘技术在商业应用中已经可以马上投入使用，因为对这种技术进行支持的三种基础技术已经发展成熟：海量数据搜集强大的多处理器计算机数据挖掘算法11数据挖掘技术的由来数据挖掘的演变过程数据挖掘其实是一个逐渐演变的过程,电子数据处理的初期,人们就试图通过某些方法来实现自动决策支持。当机器学习成为人们关心的焦点.机器学习的过程就是将一些已知的并已被成功解决的问题作为范例

5、输入计算机,机器通过学习这些范例总结并生成相应的规则,这些规则具有通用性,使用它们可以解决某一类的问题.随着神经网络技术的形成和发展,人们的注意力转向知识工程,知识工程不同于机器学习那样给计算机输入范例，让它生成出规则，而是直接给计算机输入已被代码化的规则，而计算机是通过使用这些规则来解决某些问题。专家系统就是这种方法所得到的成果，但它有投资大、效果不甚理想等不足。12数据挖掘技术的由来数据挖掘的演变过程80年代又在新的神经网络理论的指导下，重新回到机器学习的方法上，并将其成果应用于处理大型商业数据库。随着在80年代末一个新的术语，即数据库中的知识发现，简称KDD(Knowledgedisc

6、overyindatabase).它泛指所有从源数据中发掘模式或联系的方法，人们接受了这个术语，并用KDD来描述整个数据发掘的过程，包括最开始的制定业务目标到最终的结果分析，而用数据挖掘（datamining）来描述使用挖掘算法进行数据挖掘的子过程。13数据挖掘技术的由来数据挖掘的演变过程最近人们却逐渐开始使用数据挖掘中有许多工作可以由统计方法来完成，并认为最好的策略是将统计方法与数据挖掘有机的结合起来。数据仓库技术的发展与数据挖掘有着密切的关系。数据仓库的发展是促进数据挖掘越来越热的原因之一。但是，数据仓库并不是数据挖掘的先决条件，因为有很多数据挖掘可直接从操作数据源中挖掘信息14数据挖掘

7、的定义15数据挖掘的定义技术上的定义及含义简单地说，数据挖掘是从大量数据中提取或挖掘知识。数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。与数据挖掘相近的同义词有数据融合、数据分析和决策支持等。这个定义包括好几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；