第2章 数据仓库的数据存储与处理new

《第2章 数据仓库的数据存储与处理new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库与数据挖掘第2章数据仓库的数据存储与处理2012/11/612.1数据仓库的三层数据结构一、概念数据仓库就是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，通常用于辅助决策支持（DDS）2012/11/6数据仓库与数据挖掘22.1数据仓库的三层数据结构元数据:描述其他数据的属性或特征的技术和业务数据.描述了一个解释组织所需数据的整体存储在各个数据集轮廓市中的数据导出数据数据集市(如:数据集市)元数据描述调和数据层的数据特性及抽取、转换、加载操作性存储在

2、企业级数据调和数据数据到调和数据的EDW元数据仓库和操作型数据(EDW&ODS)ETL规则存储中的数据企业数据模型通常存储在遍及组操作型数据提供给企业数据仓操作型元数据织的各种不同的操(如:业务处理系统)库的数据特性作型记录系统中2012/11/6数据仓库与数据挖掘32012/11/6数据仓库与数据挖掘42.2数据仓库的数据特征一、状态数据与事件数据（前像）状态数据--〉事件数据--〉（后像）状态数据事件是一个由事务引起的数据库活动。2012/11/6数据仓库与数据挖掘52.2数据仓库的数据特征二、当前数据与周期数据操作型业务存储大量“当前数据”。周期数据物理上就是不再变

3、化和删除的数据。见表2.1和2.2。2012/11/6数据仓库与数据挖掘62.2数据仓库的数据特征三、数据仓库中的元数据DW中还有一类重要的数据：元数据（metedata）。元数据是“关于数据的数据”元数据就是关于数据的数据,它描述了数据的结构、内容、码、索引等项内容、粒度定义等。2012/11/6数据仓库与数据挖掘7DW中的元数据DB中的数据字典是一种元数据。设计一个描述能力强，内容完善的元数据，是有效管理DW的重要前提，它是DW设计的一个重要组成部分。DW的元数据内容除了与DB的数据字典中的内容相似外，还应包括DW的一些关于数据的特有信息。2.2数据仓库的数据特征

4、三、数据仓库中的元数据技术元数据:商业智能系统结构的描述，包括对数据源、数据转换、抽取过程、数据加载策略以及对目标数据库的定义等内容；包括数据仓库使用的模式、视图、维度、层次结构、类别和属性的定义。技术元数据提供给系统管理人员和数据仓库开发人员使用，管理人员需要了解操作环境到商业智能环境的映射关系（即ETL数据抽取的映射关系），数据的刷新规则，数据的安全性，数据库优化和任务调度等内容。2012/11/6数据仓库与数据挖掘92.2数据仓库的数据特征三、数据仓库中的元数据业务元数据:业务元数据从业务角度描述了商业智能系统中的数据，使得不懂计算机技术的业务人员也能够"理解"

5、商业智能系统中的数据。包括以下信息：用户的业务术语和它们表达的数据模型信息、对象名称及其属性，数据的来源信息和数据访问的规则信息，商业智能系统提供的各种分析方法以及报表展示的信息。业务元数据使数据仓库管理人员和用户更好地理解和使用数据仓库，用户通过查看业务元数据可以清晰地理解各指标的含义，指标的计算方法等信息。2012/11/6数据仓库与数据挖掘10元数据举例（数据字典）：数据流名：图书详细信息借书被拒绝说明：简要根据图书编号将图书DS2图书信息图书详细信息记录信息表中图书的详细信息返记录回，以供借阅数据流名：借阅成功信息数据流来源：图书记录信息表图书借阅信息IPO2.1.5

6、登借阅成功信息说明：简借阅成功后读者所借阅的图书数据流去向：登记借书记借书清单等信息，给读者核实或留存数据流组成：图书编号+图书名数据流来源：登记借书IPO2.1.3拒称+{作者}+出版社+版次+出版日绝借书数据流去向：读者DS3借还书记期+库存数量数据流组成：读者编号录+读者姓名+借书数据流量：高峰（5000次/天），证号+{图书编号+图书名称}+借出时间+平时（1000次/天）IPO2.1.4过读者过期图书信息提示经办者期图书校验借阅事务数据流量：高峰（3000次/天），平时（1000次/天）IPO2.1.2借有效读者书数目校验读者身份错误IPO2.1.6输出IPO2.1.1

7、读读者身份DS1读者记录读者身份错误者身份校验元数据举例（数据字典）：数据元素定义举例数据项名：读者姓名别名：ReaderName简述：读者的姓名类型：文字长度：10取值范围：中英文元数据举例（数据字典）：数据元素定义举例数据项名：管理员编号别名：LibrarianID简述：图书管理员的唯一标示类型：文字长度：8取值范围及含义：数字/英文字母第1-4位：入职年份第5位：进人单位的类别号0-3：校本部；4：应用文理学院；5：师范学院；6：商务学院；7：生物化学工程学院；8：旅游学院