面向领域的数据驱动的数据挖掘一个新的理解数据挖掘-中文版.docx

《面向领域的数据驱动的数据挖掘一个新的理解数据挖掘-中文版.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、面向领域的数据驱动的数据挖掘一个新的理解数据挖掘抽象:最近，在计算机、通讯、数据存储技术、高通量数据采集技术上的进步使得收集和存储令人难以置信的海量数据成为可能。为从数据库中发现大量知识创造了前所未有的机遇。数据挖掘是一种为处理大量的数据提供了新的理论，技术和工具的新兴领域的计算智能，例如：数据分析、决策等等。有许多研究人员从事于设计有效的数据挖掘技术、方法和算法。不幸的是，大多数的数据挖掘研究人员把重心放在了发展数据挖掘的模式和方法上，只有一小部分致力于数据挖掘的基本问题。本文中我们会提出一个新的数据挖掘的理解，那就是面

2、向领域的数据驱动的数据挖掘（3DM）模型。数据驱动的数据挖掘算法在我们的实验室开发出来同时提出来以显示她的有效性。1.介绍数据挖掘是被我们从巨大的数据集总获取知识的渴望刺激的产物。它使用机器学习，统计和可视化技术去发现数据中的知识，并且以一种很容易为用户理解和使用的形式表现出来。许多数据挖掘方法是基于机器学习算法、统计方法的扩展、组合和调整和知识的提取和抽象。在过去的二十年里，许多技术被应用在数据挖掘中，例如人工神经网络，模糊集，粗糙集，决策树，遗传算法，最近邻方法，基于统计规则归纳法，线性回归，线性预测编码等等。对于数据

3、挖掘的研究有很多观点。现有的大量研究可以被粗略的分为三种观点，不管在数据挖掘的研究中采取的哪种观点，大多数的数据挖掘人员对发展数据挖掘模式和方法的技术问题投入的大量的精力，只有少数的人关注数据挖掘的基本问题。什么是数据挖掘？数据挖掘的产物是什么？我们这数据挖掘中在做什么？我们在数据挖掘中应该遵守的规则是什么？数据领域专家的先验知识和知识丰富的头脑直接的关系式什么？为了回答以上问题，我们需要研究数据挖掘的过程。首先，大量相关的研究已经被证实，一个三层的概念框架被Yao提出，它包括哲学层，技术层和应用层。这个框架的层代表了知识

4、利用的理解，发现和区分。Peng为数据挖掘和知识的发现领域提出了一个系统框架，它的目的就是区分数据挖掘领域和知识发现。此外，国际上还举办了有关数据挖掘基础的研讨会。遗憾的是，仍然没有被完全认可和没有争议的答案对于之前提到的问题。在本文中，我们将会对基于概念上的数据挖掘模式提出一种新的理解。我们的答案将会是“数据挖掘是知识转型的一个过程”。我们工作中关于数据挖掘技术的最经的成果也会给以介绍以展示3DM模式的合理性。2、面向领域的数据驱动的数据挖掘模式2.1数据驱动的数据挖掘数据挖掘是对数据中隐含的之前未知的潜在的有用知识的非

5、一般的提取。知识可以以许多不同的方式表现出来，对于编码知识有很多种形式，最简单的格式或许是象征性的格式像公式、法则、定理等。对于人们来说以这种格式来理解和应用是很简单的，这些格式经常被用在书籍、论文甚至专业系统中，书籍也是针对于编码知识的人造格式。近期在计算机、通信，数字存储技术，以及高吞吐量的数据采集技术上的进步使得收集和存储令人难以置信的大量的数据成为可能。在很多领域都有大量的数据产生，每天许多自然现象、法则甚至人类的经验都被记录在数据库中。不幸的是人们无法读到、理解或者用到这些数据中包含的知识。因此我们认为，在数据挖

6、掘过程中，知识以一种人类无法理解的数据形式被转化成另外一种难以理解的抽象格式如规则、公式、定理等等。在数据挖掘中不会有新的知识产生，也就是说，我们只是在不产生新知识的过程中把知识从一种形式转化为另外一种形式。并且，在不同的系统中对于知识的转化有许多种渠道和方式。Fig.l是知识转化过程中的一个插曲。从Fig.l，人们可以看到数据挖掘只是一种知识转化过程对于从数据形式到抽象形式的知识转化。因此，在数据挖掘过程没有新的知识产生。基于数据挖掘的这种理解，我们可以得到Fig.2的基于数据挖掘的数据转化框架。从Fig.2我们可以发现

7、，知识可以被编辑成自然形式、数据形式、抽象形式和神经连接形式。那就是说，数据可以存储在自然世界系统、数据系统、或者生物神经网络系统。知识以任何一种形式表示都有有一些内涵，那就是P/s。在不同形式中的知识应该有一些联系，为了保证在数据挖掘过程中知识不会被改变，知识的内涵应该在知识的转化过程中保持不变。否则，在知识的转化过程中就会产生一些错误。在数据挖掘过程中，数据形式的知识的内涵不能改变。这个信息应该为数据挖掘的算法提供一些指导，他同样有助于我们在数据挖掘过程中保持数据形式的知识不会发生改变。因此，为了保持知识在数据挖掘过程

8、中不发生改变，我们需要了解一些数据形式的知识的内涵，并且在保持不变的同时用他去控制数据挖掘过程，这是数据驱动数据挖掘的关键点。设计数据驱动数据挖掘算法的过程如下：步骤1：选择一种对于被学习的领域问题来说合适的典型的知识代表形式。步骤2：选择一些知识的内涵可以以数据形式和典型形式衡量的。步骤3：以数据形式