第5章数据挖掘的实施过程.ppt

《第5章数据挖掘的实施过程.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第五章数据挖掘的实施过程第5章前面介绍了数据挖掘的基本方法。在本章中我们进一步说明数据挖掘的实施过程。5.1数据挖掘过程模型5A数据挖掘是一个过程，它是从大量数据中抽取出有价值的信息或知识以提供决策依据。由于每一种数据挖掘方法（算法及技术要求）都有其自身的特点且实现步骤与具体应用问题有密切相关性，因此成功应用数据挖掘技术以达到目标的过程本身就是一件很复杂的事情。5.1数据挖掘过程模型5A一般来说，数据挖掘项目要经历的过程包括问题的理解、数据的理解收集和准备、建立数据挖掘模型、评价所建的模型、将建立的模型投入应用等一系列任务。这里，数据挖掘过程的系统化、工程化方法学和支持系统（软件或工

2、程）对解决应用问题起着至关重要的作用。5.1数据挖掘过程模型5A为了抽象系统化方法，人们提出了一些数据挖掘过程的参考模型或标准：·SPSS提出的5A（Assess、Access、Analyze、Act、Automate）;·SAS提出的SEMMA（采样Sample,探索Explore,修正Modify,建模Model,评估Assess）·数据挖掘特别兴趣小组提出的“数据挖掘交叉行业标准过程”CRISP-DM（Cross-IndustryStandardProcessforDataMining）。5.1数据挖掘过程模型5A在这些模型中，5A模型强调的是支持数据挖掘过程的工具应具备的功能

3、和能力，它是对支持数据挖掘工具的定义。SEMMA强调的是结合SAS公司的挖掘工具进行应用开发的方法。CRISP-DM则从进行数据挖掘方法学的角度强调实施数据挖掘项目的方法和步骤，并独立于每种具体数据挖掘算法和数据挖掘系统。5.1数据挖掘过程模型5A5A模型认为任何数据挖掘方法学都由5个基本元素组成，即Assess、Access、Analyze、Act、Automate。·Assess：正确、彻底的评价任务的需求及数据。·Access：方便、快速的存取任务所涉及的数据。·Analyze：适当、完备的分析技术和工具。·Act：具有推荐性、有说服力的演示。用大量的列表和图形或者通过办公软件

4、来演示数据挖掘软件的能力。软件应该具备快速回答用户提问的控制性和灵活性，这样才便于用户更好、更快地做决策。·Automate：为用户提供最易于使用、最方便的自动化软件。5.1数据挖掘过程模型5A针对着5个过程，5A描述了各元素在数据挖掘技术应用中所需完成的任务和应该提供的支持功能。（1）AssessAssess是指要正确地理解和设置数据，一旦充分了解了数据的上下文后，就可以正确地收集它并在其上做需要的决策。实现Assess的软件技术方案可以不同，但问题含义相同。a.将技术与组织的目标、策略和步骤结合起来。b.拥有世界范围的咨询和培训，目的是交付高级分析工具给分析员后，能快速实现数据挖

5、掘及其应用。5.1数据挖掘过程模型5A（2）AccessAccess是指数据集合（DB、DW、DM）应该完全符合评价的要求和质量。若数据集合不充分，须补充附加的数据。选用的数据挖掘软件必须在所要求的数据上灵活地工作，并满足下列存取准则。·易于存取和连接各种数据源，包括数据表、公司数据库、数据仓库和其它必要的外部数据库。·能直接从ASCII正文、数据表、数据库文件读入数据。·能处理大量（GB以上）的数据文件。5.1数据挖掘过程模型5A（3）AnalyzeAnalyze要求分析工具具备两类分析方法和工具：发现工具和验证工具。验证工具检验发现工具所产生的结果是否合理。发现型方法和工具包括基

6、因遗传算法、规则推导、模糊逻辑、数据可视化、聚类算法、因素分析、神经网络、决策树等。验证方法和工具包括回归、逻辑回归、判别分析、预测建模等。理想的数据挖掘软件应该具备这两类分析方法和工具，同时应该包括下列分析特性。5.1数据挖掘过程模型5A·统计过程、范围和深度较强，应包括预测、分段、分类等。·集成商业和统计图形功能、具备多种可选的2D/3D图类，能用数据定点模式显示和跟踪等。·辅助分析的模版、过程导引、示范、在线帮助等，能帮助分析员快速选择和获得结果。·数据、文件、中间结果管理功能。能合并和分离文件、选择数据子集、处理数据缺值、净化、改善数据完整性、支持IF-THEN-ELSE条件

7、操作。·数据转换功能。有一组完备的转换函数支持变量/特征和条件的计算，可以重复计算、编辑原来的变量/特征。5.1数据挖掘过程模型5A·可裁减的工作环境。有脚本/宏语言支持的可重复任务的自动化、批处理及其菜单按钮功能，以支持一般用户快速使用。·灵活的动态输出。表结果可以转动和轮换，易于观察数据全貌和用鼠标重新组织表数据，以便于清晰的提交、观察、探索数据结果并做进一步的特殊分析。·基于线性回归和ANOVA的预测性建模，具有相关性、分类分析、预测等基本分析功能。