数据挖掘原理、算法及应用第1章绪论

《数据挖掘原理、算法及应用第1章绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章　绪　　论1.1数据挖掘的概念和定义1.2数据挖掘的历史及发展1.3数据挖掘的研究内容及功能1.4数据挖掘的常用技术及工具1.5数据挖掘的应用热点1.1数据挖掘的概念和定义数据挖掘（DateMining）是近年来随着人工智能和数据库技术的发展而出现的一门新兴技术。它是从大量的数据中筛选出有效的、可信的以及隐含信息的高级处理过程。数据挖掘包含丰富的内涵，是一个多学科交叉的研究领域。仅从从事研究和开发的人员来说，其涉及范围之广是其他领域所难以企及的，既有大学里的专门研究人员，也有商业公司的专家和技术人员。研究背景的不同会使他们从不同的

2、角度来看待数据挖掘的概念。因此，理解数据挖掘的概念不是简单地下个定义就能解决的问题。1.1.1从商业角度看数据挖掘技术数据挖掘是一种新的商业信息处理技术。数据挖掘技术把人们对数据的应用从低层次的联机查询操作提高到决策支持、分析预测等更高级的应用上。通过对特定数据进行微观、中观乃至宏观的统计、分析、综合和推理，发现数据间的关联性、未来趋势以及一般性的概括知识等，这些知识性的信息可以用来指导高级商务活动，如顾客分析、定向营销、工作流管理、商店分布和欺诈监测等。原始数据只是未被开采的矿山，需要挖掘和提炼才能获得对商业目的有用的规律性知识。这

3、正是数据挖掘这个名字的由来。因此，从商业角度看，数据挖掘就是按企业的业务目标，对大量的企业数据进行深层次分析，以揭示隐藏的、未知的规律并将其模型化，从而支持商业决策活动的技术。从商业应用角度刻画数据挖掘，可以使人们更全面地了解数据挖掘的真正含义。1.1.2数据挖掘的技术含义谈到数据挖掘，必须提到另外一个名词：数据库中的知识发现(KnowledgeDiscoveryinDatabases,KDD)，即将未加工的数据转换为有用信息的整个过程。KDD这个术语首次出现在1989年8月在美国底特律召开的第十一届国际人工智能联合会议的专题讨论会上

4、。随后，在近十年的发展过程中，KDD专题讨论会逐渐发展壮大。1999年在美国圣地亚哥举行的第五届KDD国际学术大会，参加人数近千人，投稿280多篇。近年来的国际会议涉及的范围更广，如数据挖掘与知识发现(DataMiningandKnowledgeDiscovery,DMKD)的基础理论、新的发现算法、数据挖掘与数据仓库及OLAP的结合、可视化技术、知识表示方法、Web中的数据挖掘等。此外，IEEE、ACM、IFIS、VLDB、SIGMOD等其他学会、学刊也纷纷把DMKD列为会议议题或出版专刊，成为当前国际上的一个研究热点。关于KDD和

5、DataMining的关系，有许多不同的看法。我们可以从这些不同的观点中了解数据挖掘的技术含义。1)将KDD看成数据挖掘的例子之一这一观点在数据挖掘发展的早期比较流行，并且可以在许多文献中看到这种说法。其主要观点是数据库中的知识发现仅是数据挖掘的一个方面，因为数据挖掘系统可以在关系数据库(RelationalDatabase)、事务数据库(TransactionalDatabase)、数据仓库(DataWarehouses)、空间数据库(SpatialDatabase)、文本数据(TextData)以及诸如Web等多种数据组织形式中挖

6、掘知识。从这个意义上来说，数据挖掘就是从数据库、数据仓库以及其他数据存储方式中挖掘有用知识的过程。2)数据挖掘是KDD不可缺少的一部分为了统一认识，Fayyd、PiatetskyShapiro和Smyth在1996年出版的权威论文集《知识发现与数据进展》中给出了KDD和数据挖掘的最新定义：KDD是从数据中辨别有效的、新颖的、潜在有用的、最终可理解的模式的过程；数据挖掘是KDD中通过特定的算法在可接受的计算效率限制内生成特定模式的一个步骤。　这种观点得到了大多数学者的认同。它将KDD看做是一个广义的范畴，包括数据清理、数据集成、数据

7、选择、数据转换、数据挖掘、模式生成及评估等一系列步骤。这样，我们可以把KDD看做是由一些基本功能构件组成的系统化协同工作系统，而数据挖掘则是这个系统中的一个关键的部分。源数据经过清理和转换等步骤成为适合挖掘的数据集，数据挖掘在这种具有固定形式的数据集上完成知识的提炼，最后以合适的知识模式用于进一步的分析决策工作。将数据挖掘作为KDD的一个重要步骤看待，可以使我们更容易聚焦研究重点，有效解决问题。目前，人们对于数据挖掘算法的研究基本属于这样的范畴。3)KDD与DataMining的含义相同有些人认为，KDD与DataMining只是对同

8、一个概念的不同叫法。事实上，现今的许多文献(如技术综述等)中，这两个术语仍然不加区分地使用着。有人说，KDD在人工智能界更流行，而DataMining在数据库界使用更多。也有人说，一般在研究领域称之为KDD