数据挖掘详细

《数据挖掘详细》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、《数据仓库和数据挖掘》复习大纲一、共三道大题：填空题（每空1分，共20分），简答题（8道小题，每题5分，共40分），计算、分析与证明题（四道题，共40分）二、复习范围：填空题与简答题：数据挖掘（DataMining）：从海量数据中提取有兴趣的模式（Pattern）或知识（knowledge）。数据仓库是面向主题的、集成的、时变的、非易失的数据集合，它用来支持管理部门的决策过程。1.名词解释（1）OLTP:On-LineTransactionProcessing联机事务处理。其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果

2、。对响应时间要求比较高。传统关系数据库的主要任务日常操作:购买,存货,财务等.（2）OLAP:On-LineAnalyticalProcessing联机分析处理。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。数据仓库的主要任务数据分析与决策支持（3）KDD：KnowledgeDiscoveryinData数据中的知识发现。定义：从数据集中别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。知识发现将信息变为知识。

3、（4）BI：BusinessIntelligence商业智能。BI是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。数据挖掘是BI的核心。（5）ETL:Extraction-Transformation-Loading数据提取、转换和加载。ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。2.2.1数据仓库的特征：（1）数据仓库是面向主题的（2）是汇总的（3）是集成

4、的（4）非易失的(是不可更新的)（5）时变的(是随时间变化而变化的)（6）大容量（7）非规范化（8）元数据（9）数据源数据挖掘复习第10页共10页2.2数据仓库的特点有：（1）效率足够高（2）数据质量（3）扩展性（4）面向主题2.3数据仓库的模型：（1）企业仓库（Enterprisewarehouse）：搜集了关于主题的所有信息，跨越整个组织。（2）数据集市（DataMart）：包含企业范围数据的一个子集，对于特定的用户是有用的，其范围限于选定的主题。（3）虚拟仓库（Virtualwarehouse）：操作数据库上视图的一组集合。为了有效处理查询，只有一些可

5、能的汇总视图被物化。虚拟仓库易于建立，但是需要操作数据库服务器具有剩余能力。常用多维数据结构建模（数据立方体）。数据立方体的每个维对应于模式中的一个或一组属性，每个单元存放某种聚集度量值。数据立方体提供数据的多维视图，并允许预计算和快速访问汇总数据。2.4数据仓库的多层结构：通常，数据仓库采用三层结构：（1）底层是数据仓库服务器，它几乎总是一个关系数据库系统。“如何由该层提取数据，创建数据仓库？”使用称作网间连接程序的应用程序，由操作数据库和外部数据源（如，由外部咨询者提供的顾客侧面信息）提取数据。网间连接程序由下面的DBMS支持，允许客户程序产生SQL代码

6、，在服务器上执行。网间连接程序的例子包括ODBC（开放数据库连接）和微软的OLE-DB（数据库开放链接和嵌入），JDBC（Java数据库连接）。（2）中间层是OLAP服务器，其典型的实现或者是（1）关系OLAP（ROLAP）模型，即扩充的关系DBMS，它将多维数据上的操作映射为标准的关系操作；或者是（2）多维OLAP（MOLAP）模型，即特殊的服务器，它直接实现多维数据和操作。（3）顶层是客户，它包括查询和报告工具、分析工具、和/或数据挖掘工具（例如，趋势分析、预测等）。3.数据仓库的视图（1）自顶向下视图：可以选择数据仓库所需要的相关信息。这些信息能够满足

7、当前和未来商务的需求。（2）数据源视图：解释操作数据库系统收集、存储和管理的信息。这些信息可能以不同的详细程度和精度建档，存放在由个别数据源表到集成的数据源表中。通常，数据源用传统的数据建模技术，如ER模型或者CASE工具建模。（3）数据仓库视图：包括事实表和维表。提供存放在数据仓库内部的信息。包括预计算的总和与计数，以及提供历史别进的关于源、原始日期和时间等信息。（4）商务视图：是从最终用户的角度透视数据仓库中的数据。数据立方体的有效计算：部分物化：部分方体物化，只预计算更“有用”的部分方体完全物化：表示数据立方体的所有方体都预计算不物化：多路数组聚集（M

8、ultiwayarrayaggregation）：完