数据仓库与数据挖掘技术.doc

《数据仓库与数据挖掘技术.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第一章商务智能基本概念一．数据仓库的发展与展望作为商务智能三大核心技术之一的数据仓库发源于处理日常业务的数据库。传统数据库在日常的业务处理中获得了巨大的成功，但是对管理人员的决策分析要求却无法满足。因为，管理人员常常希望能够通过对组织中的大量数据进行分析，了解业务的发展趋势。而传统数据库只保留了当前的业务处理信息，缺乏决策分析所需要的大量历史信息。为满足管理人员的决策分析需要，在数据库的基础上就产生了适应决策分析的数据环境-----数据仓库（DW，DataWarehouse）。1.数据仓库----一种能够将日常业务处理中所收集到的各种数据转变为具有商业价值信息的

2、技术2.而传统数据库系统无法承担起这一责任。因为传统数据库的处理方式与决策分析中的数据需求不相称，导致传统数据库无法支持决策分析活动。这些不相称性主要表现在决策处理中的系统响应问题、决策数据需求的问题和决策数据的操作问题l系统响应问题在传统的事务处理系统中，用户对系统和数据库的要求是数据存取频率要高、操作时间要快。用户的业务处理操作请求往往在很短的时间内就能完成，这就使系统在多用户的情况下，也可以保持较高的系统响应时间。但在决策分析处理中，用户对系统和数据的要求发生了很大的变化。有的决策问题处理请求，可能会导致系统长达数小时的运行。有的决策分析问题的解决，则需要

3、遍历数据库中大部分数据。这些操作必然要消耗大量的系统资源，这是实时处理业务的事务联机处理系统所无法忍受的。l据测数据需求的问题在进行决策分析时，需要全面、正确的集成数据，这些集成数据不仅包含企业内部各部门的又关上护具，而且还包含企业外部的、甚至竞争对手的相关数据。但是在传统数据库中，只存储了本部门的事务处理数据，而没有与决策问题有关的集成数据，更没有企业外部数据。（数据的集成操做是有数据仓库处理，不是由决策分析程序处理）。在决策数据的继承中还需要解决数据混乱问题。例如，同一实体的属性在不同的应用系统中，可能有不同的数据类型、不同的字段名称。这样在使用这些数据进行

4、决策之前，必须对这些数据进行分析，确认其真实含义。在决策分析中，系统常常需要从数据库中抽取数据、查找有用的数据，然后将这些数据导入其他文件或数据库中，供用户使用。这些被抽取出来的数据，有可能被其他用户再次抽取。由于这种不加限制数据的连续抽取，使企业的数据控件构成了一个错综复杂的数据“蜘蛛网”，即形成了自然演化体系结构。在这个数据“蜘蛛”网中，有可能两个节点上的数据来自于同一个原始数据库。但是由于数据抽取的时间、抽取方法、抽取级别等方面的差异，可能使这两个节点的数据不一致。这样，在对同一个问题的决策分析中，由于数据的出发基准不同，而可能导致截然相反的结果。也就是说

5、，由于决策分析过程中所形成的自然演化体系，造成了数据可信度的降低，必然导致数据u转化为信息的不可行与不可信，使企业无法将大量宝贵的信息资源转化为企业的核心竞争力。数据的集成还涉及外部数据与非结构化数据的应用问题。决策分析中经常要用到系统外数据，如行业的统计报告，管理咨询公司的市场调查分析数据。这些数据必须经过格式、类型的转换，曾能被决策系统应用。在决策分析系统中要求数据能够进行定期的、及时的更新，数据的更新期可能是一天，也可能是一周，而传统数据库缺乏数据动态更新的能力。为完成事务处理的需要，传统数据库中的数据一般只保留当前的数据。但是对于决策分析而言，历史上的、

6、长期的数据却具有重要的意义。利用历史数据可对未来的发展进行正确的预测，但是传统数据库却无法长期保留大量的历史数据。在决策分析过程中，决策人员往往需要的并不是非常详细的数据，而是一些经过汇总、概要的数据。但在传统数据库中为支持日常的事务处理需要，只保留一些非常详细的数据，这对决策分析十分不利。l策数据的操作问题在对数据的操作方式上，决策分析人员则往往希望以专业用户的身份，而不是参数用户的身份对数据进行操作。他们希望能够用各种工具对数据进行多种形式的操作，希望数据操作的结果能以商务智能的方式表达出来。而传统的业务处理系统智能以标准的固定报表方式为用户提供信息，使用户

7、很难理解信息的内涵，无法用于管理决策。由于系统响应、决策数据需求和决策数据操作等问题的影响，使企业无法使用现有的事务处理系统去解决决策分析的需要。因此，决策分析需要一个能够不受传统事务处理的约束，能够高效处理决策分析数据的环境，由此而产色和难过了可以满足这一要求的数据存储和数据组织技术-------数据仓库。数据仓库与数据库的对比表对比内容数据库数据仓库数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序、重复处理面向主题域、管理决策分析的应用数据特性动态变化、按字段更新静态、不能直接更新、只定时添加数据结构高度结构化、复杂、适合操作计算简单

8、、适合分析使用频率高中到