数据仓库建模与ETL的实践技巧

《数据仓库建模与ETL的实践技巧》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、BI，数据仓库（DW）建模与ETL的实践技巧作者：MALONE日期：2009-02-20主要内容(一)一、什么是BI（BusinessIntelligence）(一)、什么是BI的定义？(二)、BI的诞生？(三)、基本技术(四)、数据处理(五)、数据展现(六)、常用的BI厂商和产品主要内容(二)二、数据仓库的架构(一)、什么是数据仓库？(二)、数据仓库和OLTP数据库的区别?(三)、数据仓库的架构模型有哪些？三、构建企业级数据仓库五步法(一)、确定主题(二)、确定量度(三)、确定事实数据粒度(四)、确定维度如何理解维度？及维度的层次和级别?什么是缓慢变

2、化维度？缓慢变化维度几种基本情况？几种情况的利弊？(五)、创建事实表主要内容(三)四、什么是ETL(ETL中的关键技术)(一)、数据抽取(1)全量抽取(2)增量抽取增量数据抽取中常用的捕获变化数据的方法:a.触发器b.时间戳c.全表比对d.日志对比(二)、数据转换和加工(1)ETL引擎中的数据转换和加工(2)在数据库中进行数据加工(三)、数据装载(1)直接SQL语句进行insert、update、delete操作(2)采用批量装载方法，如bcp、bulk、关系数据库特有的批量装载工具或api(四)、主流ETL工具介绍主要内容(一)一、什么是BI（Bus

3、inessIntelligence）(一)、什么是BI的定义？(二)、BI的诞生？(三)、基本技术(四)、数据处理(五)、数据展现(六)、常用的BI厂商和产品一、什么是BI（BusinessIntelligence）(一)、什么是BI（BusinessIntelligence）a、什么是BI的定义？BI是BusinessIntelligence的英文缩写，中文解释为商务智能，用来帮助企业更好地利用数据提高决策质量的技术集合，是从大量的数据中钻取信息与知识的过程。简单讲就是业务、数据、数据价值应用的过程。用图解的方式可以理解为下图：这样不难看出，传统的交

4、易系统完成的是Business到Data的过程，而BI要做的事情是在Data的基础上，让Data产生价值，这个产生价值的过程就是BusinessIntelligenceanalyse的过程。一、什么是BI（BusinessIntelligence）b、如何实现BusinessIntelligenceanalyse的过程从技术角度来说，是一个复杂的技术集合，它包含ETL、DW、OLAP、DM等多环节，基本过程可用下图描述。上图流程，简单的说就是把交易系统已经发生过的数据，通过ETL工具抽取到主题明确的数据仓库中，OLAP后生成Cube或报表，透过Port

5、al展现给用户，用户利用这些经过分类（Classification）、聚集（Clustering）、描述和可视化（DescriptionandVisualization）的数据，支持业务决策。一、什么是BI（BusinessIntelligence）说明：BI不能产生决策，而是利用BI过程处理后的数据来支持决策。哪么BI所谓的智能到底是什么呢？（理清这个概念，有助于对BI的应用。）BI最终展现给用户的信息就是报表或图视，但它不同于传统的静态报表或图视，它颠覆了传统报表或图视的提供与阅读的方式，产生的数据集合就象玩具“魔方”一样，可以任意快速的旋转组合报

6、表或图视，有力的保障了用户分析数据时操作的简单性、报表或图视直观性及思维的连惯性。实例:c、商业智能(BI)在电信行业所处的商业作用和价值？(什么是电信BI)BI应用在电信行业又称作电信经营分析系统。随着竞争的加剧和数据业务的发展，电信业BI市场将进入一个高速发展的时期。在电信市场竞争愈演愈烈的背景下，各个运营商已经从业务为中心向以服务为中心转变，原来赖以竞争的手段如价格战、行业垄断优势、促销策略等以无法适应新形势的需要。为了保住客户资源，运营商需要一套业务分析支持系统，以从自身市场数据中获得能够真正反映企业运营状况的有效信息，从而为市场经营决策提供科

7、学支持，商业智能(BI)所处的商业作用和价值显而易见。主要内容(一)一、什么是BI（BusinessIntelligence）(一)、什么是BI的定义？(二)、BI的诞生？(三)、基本技术(四)、数据处理(五)、数据展现(六)、常用的BI厂商和产品一、什么是BI（BusinessIntelligence）(二)、BI的诞生？典型的案例有超市，便利店“尿片和啤酒”的故事(三)、基本技术a、BI(BusinessIntelligence)是一种运用了数据仓库、在线分析和数据挖掘等技术来处理和分析数据的崭新技术，目的:是为企业决策者提供决策支持。b、哪么BI

8、技术涉及了哪些方面呢？其核心技术中ETL、DW及OLAP。或者说是“数据处理技术”与“数据展现