数据挖掘综述53121

《数据挖掘综述53121》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据挖掘系统发展综述*朱建秋jianqiu-zhu@datamining.cn上海复旦德门软件有限公司摘要：目前对数据挖掘技术发展的综述较多，但是对于数据挖掘系统发展的研究相对较少。本文总结数据挖掘系统的演变过程，从技术层面将数据挖掘系统的发展划分为四代，从应用角度归纳出数据挖掘系统发展的三个阶段，并且介绍了我们在数据挖掘系统方面所做的研究和成果，最后讨论了数据挖掘系统的发展趋势及研究方向。ASurveyonDataMiningSystemEvolutionAbstract：Nowadaystherearemanysurveysondataminingtechniques,

2、buttherearerelativelyfewresearchesonsystemevolution.Thispapersummarizestheevolutionprocessondataminingsystem,thendividesthedevelopmentofdataminingsystemintofourgenerationsfromtechniques’aspectandconcludesthreestagesfromtheviewofapplications.Weintroduceourresearchandworkondataminingsystems.

3、Trendsanddirectionsaboutdataminingsystemarediscussedinthelast.1引言数据挖掘是在大量的数据中发现潜在的、有价值的模式和数据间关系（知识）的过程。经过十多年的工作，数据挖掘技术的研究与应用已取得了很大的成果。在数据挖掘研究过程中，关于技术发展的综述很[1][2][3][4]多，让我们了解了数据挖掘技术的总体研究情况以及发展趋势，但是关于数据挖掘系统发展的研究相对较少。数据挖掘系统的发展和数据挖掘过程以及任务的演变紧密相关，一方面系统必须体现数据挖掘过程循环迭代的本质，另一方面系统必须实现各种复杂的数据挖掘任务。数据

4、挖掘从一开始就是面向应用的，也只有在应用中广泛使用和推广后，才能反过来推动数据挖掘的理论研究。而数据挖掘系统是数据挖掘研究和应用的桥梁，对数据挖掘技术的推广起到很大的作用。本文研究数据挖掘系统的演变过程，首先在第2小节介绍一些与数据挖掘过程和系统相关的研究和综述；第3小节专门论述数据挖掘过程的演变；然后在第4小节从技术层面将数据挖掘系统划分为四代；第5小节从应用角度归纳出数据挖掘系统的三个阶段，论述了数据挖掘系统的现状；第6小节介绍我们在数据挖掘研究方面所做的工作；最后简单讨论了数据挖掘系统的发展趋势和研究方向。2相关工作[5]人们已经对数据挖掘过程以及数据挖掘系统进行了大

5、量的研究。Brachman和Anand强调以用户为中[6]心的过程模型。Reinartz进一步强调了以用户为中心的重要性。上述工作强调用户交互的必要性以及用[7]户交互在成功的数据挖掘过程中的作用。数据挖掘跨行业标准CRISP-DM倡导一种由不同任务组成的数据[8]挖掘方法学。这些任务由四个不同层次的抽象来描述。Williams对整个数据挖掘过程进行了理论上的形式化描述，从而有助于对不同的方法进行比较和区别。数据挖掘过程模型对数据挖掘系统建设具有直接的指导作用。[9][10]Imielinski和Mannila在96年提出了第二代数据挖掘的概念。Virmani在98年实现了

6、一个第二代[11][12]数据挖掘系统。Grossman在98年提出了四代数据挖掘系统的概念，本文在第4小节详细讨论。Goebel等在KDD’99上对43个数据挖掘系统进行了分析和比较，提出了一种数据挖掘系统分类的方法。Piatetsky[13]Shapiro在KDD2000上总结了数据挖掘系统的发展，我们将其归纳为三个阶段，在第5小节论述。Hongjun[14][15]Luo在PAKDD’01上进一步提出数据挖掘系统与数据库管理系统集成的趋势，JiaweiHan在2001年提*1出数据挖掘技术与应用相结合开发纵向的数据挖掘系统的发展方向。本文在讨论数据挖掘系统发展趋势和研

7、究方向时进行总结。3数据挖掘过程模型对数据挖掘过程模型的研究很多，根据这些过程模型，设计和实现了许多相应的数据挖掘原型系统和商业系统。我们归纳了KDNuggests（www.kdnuggets.com/software）上介绍的近百个数据挖掘系统，大致[16]可以将数据挖掘模型划分为两种类型，一种是Fayyad总结出的过程模型（见图1-1），另一种是遵循[7]CRISP-DM标准的过程模型（见图1-2）。业务理解数据理解选择预处理转换挖掘解释/评估预处理部署建模数据目标数据处理后数据转换数据模式知识评估图1-1Fa