《数据挖掘技术》第1章 数据挖掘综述(课件)

《《数据挖掘技术》第1章 数据挖掘综述(课件)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章数据挖掘综述1.1数据挖掘的研究历史和现状1.2数据挖掘定义1.3数据挖掘研究内容1.4数据挖掘系统工作原理第1章数据挖掘综述1.1数据挖掘的研究历史和现状数据挖掘演变的过程电子数据处理的初期，人们试图通过某些方法来实现自动决策支持，机器学习成为人们关心的焦点。神经网络技术形成和发展，人们将注意力转向知识工程，直接给计算机输入已被代码化的规则。80年代人们在新的神经网络理论指导下，又回到机器学习方法上，并将其成果应用于处理大型商业数据库。随着数据库技术的发展及数据库管理系统的广泛应用，数据挖掘概念从商业角度被开发出来。第1章数据挖掘综

2、述进化阶段时间段技术支持生产厂家产品特点数据搜集60年代计算机，磁带等IBM,CDC提供静态历史数据数据访问80年代关系数据库，结构化查询语言SQLOracleSybase,Informix,IBM,Microsoft在纪录中动态历史数据信息数据仓库90年代联机分析处理，多维数据库Pilot,Comshare,Arbor,Cognos,Microstrategy在各层次提供回溯的动态的历史数据数据挖掘正在流行高级算法，多处理系统，海量算法Pilot,Lockheed,IBM,SGI,其他初创公司可提供预测性信息数据进化的阶段表1-1数据进化

3、的四个阶段第1章数据挖掘综述发现知识（KDD）1989年举行的第十一届国际联合人工智能学术会议上首次出现知识（KDD）一词。目前为止，由美国人工智能协会主办的KDD国际研讨会已经召开8次，研究重点逐渐从发现方法转向系统应用，注重多种发现策略和技术的集成，以及多种学科之间的相互渗透。并行计算、计算机网络和信息工程等其他领域的国际学会、学刊也把数据挖掘和知识发现列为专题和专刊讨论。与国外相比，国内对DMKD的研究稍晚，尚未形成整体力量。1993年国家自然科学基金首次支持该领域的研究项目。目前，国内的许多科研单位和高等院校竞相开展知识发现的基础理

4、论及其应用研究。第1章数据挖掘综述1.2数据挖掘定义1.2.1技术角度的定义数据挖掘（DataMining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括好几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。第1章数据挖掘综述其中何谓知识？从广义上理解，数据、信息也是知识的表现形式，但是人们把概念、规则、模式、规律和约束等看作知识，

5、原始数据可以是结构化的、半结构化的，甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的、非数学的、演绎的、归纳的。发现的知识可以被用于信息管理、查询优化、决策支持和过程控制以及数据自身的维护。这里所说的知识发现，是相对的，是有特定前提和约束条件，面向特定领域的，同时还要能够易于被用户理解。最好能用自然语言表达所发现的结果。第1章数据挖掘综述1.2.2商业角度的定义数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。数据挖掘是一类深层次的数

6、据分析方法。现在，由于各行业业务自动化的实现，商业领域由于纯机会的（Opportunistic）商业运作而产生大量的业务数据，经过深层分析，获得有利于商业运作、有竞争力的信息。数据挖掘可以描述为：一种按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。第1章数据挖掘综述1.2.3数据挖掘与传统分析方法的区别数据挖掘与传统的数据分析的本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和可实用三个特征。数据挖掘是要发

7、现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。第1章数据挖掘综述1.2.4数据挖掘和数据仓库大部分情况下，数据挖掘都要先把数据从数据仓库中拿到数据挖掘库或数据集市中（见图1-1）。图1-1数据挖掘从数据库中得出如果数据在导入数据仓库时已经清理过，很可能在做数据挖掘时就没必要再清理一次，而且所有的数据不一致的问题都已经被解决了。第1章数据挖掘综述数据仓库建立一个巨大的数据仓库，把各个不同源的数据统一在一起，解决所有的数据冲突问题，然后把所有的数据导到一个数据仓库内，是一项巨大的工程。图

8、1-2数据挖掘从事物数据库中得出第1章数据挖掘综述1.2.5数据挖掘和在线分析处理（OLAP）OLAP是决策支持领域的一部分。OLAP分析是建立一系列的假设，然后通过OLAP来证