数据挖掘概念、技术与商业应用2012.5

《数据挖掘概念、技术与商业应用2012.5》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据挖掘概念、技术与商业应用刘海飞副教授、博士hfliu@nju.edu.cn南京大学金融工程研究中心2012.5汇报目录1.数据挖掘的内涵与体系2.数据挖掘实施流程与挖掘技术•数据挖掘实施流程•数据挖掘工具•挖掘数据预处理•数据挖掘技术3.数据挖掘案例—商业银行营销分析2数据挖掘基本概念1、从大量的数据中提取人们所客观世界感兴趣的、事先不知道的、隐含在数据中的有用的信息和知识的过程；知识数据2、并且把这些知识用概念、规则、规律和模式等方式展示给用户，从而解信息解决信息时代的“数据数据挖掘数据库过量，知识不足”的矛盾。3数据挖掘任务与目标¢发生了什么？¢为

2、什么会发生？¢将来还会发生吗？4数据挖掘进化路径数据库管理系统（20世纪70年代）——网络和关系数据库系统数据收集与数据库创建——数据建模工具（20世纪60年代或更早）——索引和数据组织技术——基础文件处理——查询语言和查询处理——用户界面与优化方法——在线事务处理（OLAP）先进数据库系统、数据仓库和数据挖掘（20世纪80年代至今）新一代信息系统——现今数据模型（扩展关系、面向对象、（2000年以后）对象关系）——面向应用（空间、时间、多媒体、知识库）5数据挖掘体系架构数据挖掘体系：数据清理集成数据挖掘处理抽取转换挖掘前处理模块挖掘操作模块各类数据库挖掘

3、前处理模块系统外各类数据库数据库模式数据仓库挖掘知识库挖掘操作模块用户数据库管理模块知识输出挖掘结果评估模式评估模块知识输出模块模式评估模块知识输出模块数据挖掘系统的体系结构图6汇报目录1.数据挖掘的内涵与体系2.数据挖掘实施流程与挖掘技术•数据挖掘实施流程•数据挖掘工具•挖掘数据预处理•数据挖掘技术3.数据挖掘案例—商业银行营销分析7数据挖掘----CRISPCRISP--DMDM模型¢由DilChlDaimlerChrysler、SPSS和NCR三家机构共同发展起来的数据挖掘方法论（Http://www.crisp-dm.org）¢CRISP-DM（C

4、ross-IndustryStandardProcessforDataMining，跨行业数据挖掘标准流程）注重数据挖掘技术的应用。CRISP-DM过程模型从商业的角度给出对数据挖掘方法的理解。目前数据挖掘系统的研制和开发大都遵循CRISP-DM标准，将典型的挖掘和模型的部署紧密结合。8数据挖掘----CRISPCRISP--DMDM模型¢CRISP-DM模型过程的挖掘流程包括：业务理解、数据理解、数据准备、建立模型、模型评价、模型实施。业务理解数据理解数据准备数据建立模型实施评价CRISP-DM数据挖掘流程9数据挖掘流程1、业务理解（BusinessUn

5、derstanding）•最初的阶段集中在理解项目目标和从业务的角度理解需求，同时将这个知识转化为数据挖掘问题的定义和完成目标的初步计划。2、数据理解（DataUnderstanding）•数据理解阶段从初始的数据收集开始，通过一些活动的处理，目的是熟悉数据，识别数据的质量问题，首次发现数据的内部属性，或是探测引起兴趣的子集去形成隐含信息的假设。3、数据准备（DataPreparation）•数据准备阶段包括从未处理数据中构造最终数据集的所有活动。这些数据将是模型工具的输入值。这个阶段的任务有一个能执行多次，没有任何规定的顺序。任务包括表、记录和属性的选择

6、，以及为模型工具转换和清洗数据。10数据挖掘流程4、建立模型（Modeling）•选择和应用不同的模型技术，模型参数被调整到最佳的数值。一般，有些技术可以解决一类相同的数据挖掘问题。有些技术在数据形成上有特殊要求，因此需要经常跳回到数据准备阶段。5、数据评价（Evaluation）•已经从数据分析的角度建立了高质量显示的模型。在开始最后部署模型之前，重要的事情是彻底地评估模型，检查构造模型的步骤，确保模型可以完成业务目标。这个阶段的关键目的是确定是否有重要业务问题没有被充分的考虑。在这个阶段结束后，一个数据挖掘结果使用的决定必须达成。11数据挖掘流程6、实

7、施（Deployment）•通常，模型的创建不是项目的结束。模型的作用是从数据中找到知识，获得的知识需要便于用户使用的方式重新组织和展现。根据需求，这个阶段可以产生简单的报告，或是实现一个比较复杂的、可重复的数据挖掘过程。在很多案例中，这个阶段是由客户而不是数据分析人员承担实施的工作。流程的复杂性取决于建模复杂性、建模复杂性取决于需求复杂性、需求复杂性取决于商业目标的重要程度、最终取决于商业目标。12数据挖掘建模操作步骤数据准模型开模型验模型上备阶段发阶段证阶段线阶段目标变量数据探索数据处理模型上线时间窗口数据清洗模型导入数据处理预测变量变量压缩LIFT图

8、模型打分衍生变量变量筛选模型验证模型监控数据整合模型开发模型比较模