数据仓库与数据挖掘课件 第十二章 数据挖掘工具与产品

《数据仓库与数据挖掘课件 第十二章 数据挖掘工具与产品》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第12章数据挖掘工具与产品《数据挖掘与知识发现》(第2版)吉林大学计算机科学与技术学院李雄飞1数据挖掘与知识发现(第2版)数据挖掘工具与产品随着数据挖掘研究工作的深入，相关工具盒产品不断涌现，同时逐渐形成相关技术规范。本章介绍如下几个方面的内容：数据挖掘标准数据挖掘工具数据挖掘产品2数据挖掘与知识发现(第2版)数据挖掘标准化概述开发数据挖掘软件面临的问题：1.各模型和技术难于集成数据挖掘技术是面向问题的，不同的问题往往采用不同的模型和技术，且彼此相互独立。开发商们提供的工具之间难以交互，不容易集成到同一个应

2、用中。2.缺少简明精确的问题描述方法语义通常是由实现方法决定的，很难用统一的原语言描述数据挖掘问题。3.挖掘软件仅提供孤立的知识发现功能，难以嵌入大型应用大多数数据挖掘工具采用独立的数据挖掘模型，不能同操作环境中的语言模型无缝集成。4.缺少与数据库系统耦合的通用API或原语数据挖掘引擎和数据库系统是松散耦合的，缺乏统一的对数据库系统的高性能访问接口，也没有支持与数据库紧密耦合的原语。数据挖掘标准划分为四类：过程标准、接口标准、语言标准、网络标准。3数据挖掘与知识发现(第2版)数据挖掘过程标准需求：数据挖掘是

3、分步骤、多角度数据分析和知识获取过程。为使数据挖掘过程与具体应用开发过程相结合，成为商业开发的关键步骤，需要建立统一的过程标准。作用：形成有效记录工作经验的统一体系加强项目计划和项目管理有助于新手了解数据挖掘的整个工作流程有利于详细规划和设计控制和降低项目的成本主要标准：1996年的Fayyad标准1998年的Cabena标准1999年的CRISP-DM标准2001年的Cios标准以及SAS的SEMMA标准其中，CRISP-DM应用范围最广的、是事实上的工业标准。4数据挖掘与知识发现(第2版)数据挖掘过程标

4、准CRISP-DM(CrossIndustryStandardProcessforDataMining)是一个分级的过程模型。1.理解商业背景：确定商业目标，评估形势，明确目标并建立项目计划。2.理解原始数据：收集并描述原始数据，检查和确认数据的质量。3.数据准备：选择、清理数据，数据综合并做数据标准化。4.建立数据挖掘模型：选择建模算法，产生测试模型，建立模型和评估模型。5.评估：评估数据挖掘的结果，监视数据挖掘过程并确定下一步工作。6.部署：制定数据挖掘实施计划，制定监控计划实施的方法，完成最终报告，最

5、后回顾整个工程。5数据挖掘与知识发现(第2版)数据挖掘过程标准6数据挖掘与知识发现(第2版)数据挖掘接口标准数据挖掘接口标准：不需大量修改代码，各数据挖掘工具均可直接为终端用户提供服务，使不同开发商的数据挖掘工具可以互连。主要包括：SQL/MM(SQL/Multimedia)JSR-073/JDM(JavaSpecificationRequest073/JavaDataMining)SQL/MM标准：SQL/MM是一个ISO/IEC的国际化标准项目，主要用于定义纯文本数据、空间数据和静态图像数据和数据挖掘的

6、标准。该标准的第六部分用来解决数据挖掘问题，为数据挖掘模型的生成、测试以及应用等工作定义了标准的SQLAPI。支持分类、聚类、回归和关联规则允许用户自定义数据类型和方法7数据挖掘与知识发现(第2版)数据挖掘接口标准JDM主要由三个结构组件构成：(1)应用程序编程接口终端用户的可视化部件需要通过此接口调用数据挖掘引擎(DME)提供的数据挖掘服务。应用程序开发者仅需要掌握此接口即可工作。(2)数据挖掘引擎(DME)提供数据挖掘服务的基础架构，终端用户通过接口调用它提供的数据挖掘服务。(3)元数据仓库存储底层的数

7、据挖掘对象，可以是基于CWM框架。8数据挖掘与知识发现(第2版)数据挖掘语言标准借鉴SQL制定数据挖掘语言标准，支持统一的和交互的数据挖掘，便于灵活有效地发现知识，实现数据挖掘系统的标准化。按数据挖掘语言的功能和侧重点分类：数据挖掘查询语言数据挖掘定义语言通用数据挖掘语言一、数据挖掘查询语言多数采用类似SQL语言的语法，提供一些数据挖掘原语。用户通过原语制定数据挖掘任务。数据挖掘原语通常从五个方面描述问题：待挖掘的数据挖掘知识的类型背景知识兴趣度度量模式的表示与可视化9数据挖掘与知识发现(第2版)数据挖掘语

8、言标准典型代表：韩家炜的面向文本数据挖掘查询语言DMQLImielinski和Vermani的数据挖掘系统语言MSQLMeo，Psalia和Ceri的关联规则查询语言MineRule二、数据挖掘定义语言1.预言模型标记语言(PMML，PredictiveModelMarkupLanguage)为复用和继承不同数据挖掘系统的模型，需要制订统一的挖掘模型定义标准。PMML由数据挖掘组（DMG）于1999年7月提出，已