数据仓库与数据挖掘原理及应用第1章

《数据仓库与数据挖掘原理及应用第1章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一篇数据仓库与OLAP第一章数据仓库基本概念1第一章目录1.1从数据库到数据仓库1.2什么是数据仓库1.3数据仓库与传统数据库的比较1.4数据仓库的系统结构1.5数据仓库的数据组织1.6本章小结21.1从数据库到数据仓库传统数据库以及OLTP（On-LineTransactionProcessing联机事务处理）在日常的管理事务处理中获得了巨大的成功，但是对管理人员的决策分析要求却无法满足。因为，管理人员常常希望能够通过对组织中的大量数据进行分析，了解业务的发展趋势。而传统数据库只保留了当前的业务处理信息，缺乏决策分

2、析所需要的大量的历史信息。为满足管理人员的决策分析需要，就需要在数据库的基础上产生适应决策分析的数据环境——数据仓库（DataWarehose）。31.1.1蜘蛛网问题（1）在市场经济的激烈竞争中，信息对于企业的生存和发展起着至关重要的作用。企业对信息的需求是多方面的，为了避免企业中各部门或各用户间的冲突和简化用户的数据视图，一种称作“抽取程序”的方法被广泛地应用。比如，市场部人员通常只关心企业的销售、市场策划方面的信息，而不注重企业的研发、生产等其他环节。因此，将销售、市场策划方面的信息抽取出来单独建立部门级的数据库

3、很有必要，这样可以提高数据的访问效率。4在部门级数据的基础上可能还要被继续执行抽取程序，以建立个人级的数据库。比如，专门负责制作公司财务报表的数据人员，常常需要从财务部门的数据库系统中抽取数据。又如，部门经理可能经常抽取常用的数据到本地，有针对性的建立个人级数据库就显得尤为重要。随着数据的逐层抽取，很可能最终导致系统内的数据间形成了错综复杂的网状结构，如图1.1所示，人们形象地称为“蜘蛛网”。一个大型的公司每天进行上万次的数据抽取很普遍。这种演变不是人为制造的，而是自然演变的结果。企业的规模越大,“蜘蛛网”问题就越严重

4、。1.1.1蜘蛛网问题（2）5网上的任意两个节点的数据可能归根结底是从一个原始库中抽取出来的，但其数据没有统一的时间基准，因而错综复杂的抽取与访问将产生很多问题，主要有以下几个方面。1.1.1蜘蛛网问题（3）61.数据分析的结果缺乏可靠性图1.2中展示了某企业的市场部和计划部对项目I是否具有市场前景的分析过程和结果。市场部认为“项目I的市场前景很好”,而计划部却得到截然相反的结果----“项目I没有市场前景”。作为企业的最终决策者，将如何根据这样的结论进行决策呢？为什么分析同一个企业数据库中的数据，却得到截然相反的结论

5、呢？首先，两部门可能抽取数据的内容不同。比如，市场部抽取的是项目I在大客户中的应用情况，而计划部抽取的是项目I在普通客户中的应用情况。1.1.1蜘蛛网问题（4）7其次，可能两部门抽取数据的时间不同。如市场部在星期日晚上提取分析所需的数据，而计划部在星期三下午就抽取了数据。有任何理由相信对某一天抽取的数据样本进行分析与对另一天抽取的数据样本进行的分析可能相同吗？当然不能！企业内的数据总是在变的。再次，引用外部信息的不同。分析项目的发展趋势常常需要引入企业外部的信息，比如报刊信息、国家的政策等。市场部门引用的外部信息来源可

6、能与计划部门不同，而外部信息自然是仁者见仁，智者见智，这也可能是导致最终分析结果不同的原因。最后，分析程序的差异。市场部门使用的分析程序可能与计划部门不同，分析的内容和指标也可能不同。1.1.1蜘蛛网问题（5）81.1.1蜘蛛网问题（6）92.数据处理的效率很低数据分析的结果缺乏可靠性并不是蜘蛛网问题中唯一的主要问题。在一个大型企业中，不同级别的数据库可能使用不同类型的数据库系统，对于拥有巨型数据量的企业级数据库可能使用IBMDB2，而对于部门级和个人级的中小型数据库可能使用SQLServer。各种数据库的开发工具和开

7、发环境不同，当需要在整个企业范围内查询数据时，数据处理的低效率将是不容忽视的。如果一个大型企业的决策领导需要一份关于公司整体运营情况的报表，通常需要动用大量的人力和物力才能达到。首先，定位报表需要的数据，即确定报表涉及的内容分布在哪个数据库的哪个位置，然后调动各个部门的程序员/分析员对应用进行分析、设计和编码。1.1.1蜘蛛网问题（7）10由于数据分散在各个数据库中，因此需要编写的程序很多。由于企业中使用的数据库类型很多，因此可能需要使用多种技术来实现。可见，面对企业中存在的蜘蛛网现象，为产生一份关于公司整体运营情况的

8、报表，将动用大量的人力、物力和时间才能完成。如果低效率的过程是一次性的，那么为生成报表花费大量的资源也是可取的。换句话说，如果生成第一份企业报表需要大量资源，生成所有后继报表可以建立在第一份企业报表基础之上，那么不妨为生成第一份报表付出一些代价。但是事实并非如此。除非事先知道未来的企业报表需求，并且除非这些需求影响到第一张报表的建