第七章 1数据挖掘与数据仓库

《第七章 1数据挖掘与数据仓库》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据库系统原理第二部分第七章数据挖掘与数据仓库7.1数据仓库概述7.2数据挖掘技术7.3WEB数据挖掘7.1数据仓库概述一、什么是数据仓库二、DBMS与DWMS三、数据仓库的系统结构四、数据仓库的工作过程不同层次的信息处理需求事务处理需求不同的事务处理子系统采购子系统：订单、订单细则、供应商销售子系统：顾客、销售库存子系统：出库领料单、进料入库单、库存台帐人事子系统：员工、部门各种事务处理需求一笔订购、一笔销售、一次进料、一次出料要求强调多用户并发环境，数据的一致性、完整性不同层次的信息处理需求分析处理需求今年销售量下降的因素（时间、地区、商品、销售部门）某种商品今

2、年的销售情况与以往相比，有怎样的变化？每年的第一季度商品销售在各类商品上的分布情况怎样？要求多个子系统中的数据（数据集成）历史数据汇总、综合的数据从数据库到数据仓库事务处理与分析处理的性能特性不同事务处理环境数据存取操作频率高每次操作处理的时间短占用系统资源少系统可以允许多个用户按分时方式使用资源，保持较短的响应时间分析处理环境运行时间长消耗大量系统资源事务与分析应用不宜放在同一中环境中从数据库到数据仓库数据集成问题事务处理目的是使业务自动化只关注与本部门业务相关的当前数据事务处理应用的分散：企业内部各事务处理应用间相互独立DSS需要集成的数据（内部各部门数据、外部数

3、据、竞争对手数据）DSS需要对分散在各个事务处理应用中的相关数据进行集成，以向分析人员提供统一的数据视图从数据库到数据仓库数据动态集成问题每次分析都进行数据集成的开销太大静态集成开始对所需数据进行集成，以后就一直以这部分数据作为分析的基础，不再与数据源发生联系如果数据源发生了变化，这些变化不能反映到集成数据中，导致决策者使用的是过时的数据动态集成集成数据必须以一定的周期进行刷新事务处理系统不具备动态集成的能力数据仓库的定义数据仓库是一个面向主题的（SubjectOriented），集成的（Integrated），相对稳定的（Nonvolatile），反映历史变化的（t

4、imeVariant）数据集合。用于支持管理决策一、什么是数据仓库数据仓库技术所要研究和解决的问题就是从OLTP系统、异构分散的外部数据源、脱机的历史业务数据中获取数据，处理后为数据分析和管理决策提供应用服务。数据仓库就是面向主题的、集成的、不可更新的(稳定性)随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。二、DBMS与DWMSOLTP主要用来完成基础业务数据的增、删、改等操作,对响应时间要求比较高，强调的是密集数据更新处理的性能和系统的可靠性及效率OLAP应用是对用户当前及历史数据进行分析、辅助领导决策，主要通过多维数据的查询、旋转、钻取和

5、切片等关键技术对数据进行分析和报表。三、数据仓库的系统结构与相关问题四、数据仓库的工作过程1.数据的抽取2.数据的存储和管理3.数据的展现等1.数据的抽取数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面的处理。在数据抽取方面，未来的技术发展将集中在系统功能集成化方面，以适应数据仓库本身或数据源的变化，使系统更便于管理和维护。2.数据的存储和管理数据仓库的组织管理方式决定了它有别于传统数据库的特性

6、，也决定了其对外部数据的表现形式。数据仓库管理所涉及的数据量比传统事务处理大得多，且随时间的推移而快速累积。在数据仓库的数据存储和管理中需要解决的是如何管理大量的数据、如何并行处理大量的数据、如何优化查询等。目前，许多数据库厂家提供的技术解决方案是扩展关系型数据库的功能，将普通关系数据库改造成适合担当数据仓库的服务器。3.数据的展现在数据展现方面主要的方式有：查询：实现预定义查询、动态查询、OLAP查询与决策支持智能查询；报表：产生关系数据表格、复杂表格、OLAP表格、报告以及各种综合报表；可视化：用易于理解的点线图、直方图、饼图、网状图、交互式可视化、动态模拟、计算

7、机动画技术表现复杂数据及其相互关系；统计：进行平均值、最大值、最小值、期望、方差、汇总、排序等各种统计分析；挖掘：利用数据挖掘等方法，从数据中得到关于数据关系和模式的知识。7.2数据挖掘技术一、问题的提出二、什么是数据挖掘三、数据挖掘的环境四、数据挖掘的主要步骤五、数据挖掘的主要任务六、数据挖掘的主要方法七、数据挖掘的主要应用八、数据挖掘的主要工具一、问题的提出一方面规模庞大、纷繁复杂的数据体系让使用者漫无头绪、无从下手；另一方面在这些大量数据的背后却隐藏着很多具有决策意义的有价值的信息。如何发现这些有用的知识，使之为管理决策和经营战略发展服务？-数