数据挖掘的标准流程与工具.ppt

《数据挖掘的标准流程与工具.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、1.数据库与数据仓库从数据库到数据仓库什么是数据仓库数据仓库中的数据组织数据仓库体系化环境从数据库到数据仓库传统的数据库技术——以单一的数据资源为中心，着重事务处理，竞争环境要求科学、准确、快速的决策。传统数据库不适宜DSS：处理的性能特性不同事务处理：数据的存取操作频繁，响应要求高、并发性好分析处理：占用系统资源多，运行速度慢，用户少数据集成问题事务处理：只需与自己相关的数据分析处理：要求数据全面数据动态集成问题分析处理：需要数据动态集成事务处理：只具备静态集成、无法动态集成历史数据问题事务处理：

2、只处理当前数据分析处理：必须对历史数据进行详细分析数据的综合问题事务处理：涉及数据细节过多分析处理：需对数据进行各种综合从数据库到数据仓库20世纪中后期开始出现数据仓库思想的萌芽1992年W.H.Inmon在BuildingtheDataWarehouse一书中提出数据仓库的概念。1992年，E.F.Codd提出数据仓库多维分析的概念，和12条OLAP的准则各大数据库厂商纷纷推出自己的产品IBMOracleInformixSybase什么是数据仓库“数据仓库是作为DSS服务基础的分析型DB，用于存放

3、大容量的只读数据，为制定决策提供所需的信息”“数据仓库是与操作型系统相分离的、基于标准企业模型集成的、带有时间属性的、面向主题及不可更新的数据集合。”数据仓库将分布在企业网络中不同信息岛上的业务数据集成到一起，存储在一个单一的集成关系型数据库中，利用这种集成信息，可方便用户对信息的访问，更可使决策人员对一段时间内的历史数据进行分析，研究事物发展走势数据仓库之父W.H.Inmon：”数据仓库是集成的面向主题的数据库集合，用于支持决策支持功能，其中每个数据单位都与时间相关。”操作型数据与分析型数据的区别

4、操作型数据分析型数据细节的综合的、或提炼的在存取瞬间是准确的代表过去的数据可更新不可更新预先知道操作需求预先不知道生命周期符合SDLC声明周期不同对性能要求高对性能要求宽松一个时刻操作一单元一个时刻操作一集合事务驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量大支持日常操作支持管理需求数据仓库的四个基本特征数据是面向主题的什么是主题（是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象）面向主题的数据组织方式（是在较高层次上对分析对象的数据的完整、一致的描述，能完整、统一地刻

5、画各个分析对象所涉及地企业的各项数据以及数据之间的联系）数据是集成的数据不可更新数据随时间不断变化面向应用进行数据组织的特点对相关组织、部门进行调查，收集数据库的基础数据及其处理过程，重点在于数据和处理反映一个部门内数据的动态特征，即表达数据流程数据库中的数据模式与实际业务中的数据有很好的对应关系数据的组织方式没有体现数据库的原本意图——数据与处理的分离。面向主题的数据组织抽取主题确定每个主题所应包含的数据内容。大纲什么是数据挖掘数据挖掘的标准流程：CRISP－DM数据挖掘工具——SPSSCleme

6、ntine简介第一部分：什么是数据挖掘？数据挖掘都干了些什么？英国电信需要发布一种新的产品，需要通过直邮的方式向客户推荐这种产品。。。。。。使直邮的回应率提高了100％数据挖掘都干了些什么？GUS日用品零售商店需要准确的预测未来的商品销售量，降低库存成本。。。。。。通过数据挖掘的方法使库存成本比原来减少了3.8%数据挖掘都干了些什么？汇丰银行需要对不断增长的客户群进行分类，对每种产品找出最有价值的客户。。。。。。营销费用减少了30％数据挖掘都干了些什么？美国国防财务部需要从每年上百万比的军火交易中发

7、现可能存在的欺诈现象。。。。。。发现可能存在欺诈的交易，进行深入调查，节约了大量的调查成本数据挖掘都干了些什么？美国国内税务局需要提高对纳税人的服务水平。。。。。。合理安排税务官的工作，为纳税人提供更迅捷、更准确的服务通过数据挖掘您可以发现最有价值的客户通过数据挖掘您可以使组合销售更有效率通过数据挖掘您可以留住那些最有价值的客户通过数据挖掘您可以用更小的成本发现欺诈现象通过采用自动或半自动的手段，在海量数据中发现有意义的行为和规则的探测和分析活动。数据挖掘能够帮助你选择正确瞄准潜在目标，向现有的客户

8、提供额外的产品，识别那些准备离开的好客户。什么是数据挖掘电信：流失银行：聚类（细分）,交叉销售百货公司/超市：购物篮分析（关联规则）保险：细分，交叉销售，流失（原因分析）信用卡：欺诈探测，细分电子商务：网站日志分析税务部门：偷漏税行为探测警察机关：犯罪行为分析医学：医疗保健数据挖掘应用领域数据挖掘效益分析(直邮）(BigBank&CreditCardCompany)目的：发现新客户数据挖掘以前数据挖掘以后差别发信的数量1,000,000750,000(250,000)