韩家炜_数据挖掘：概念与技术-第1章

《韩家炜_数据挖掘：概念与技术-第1章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一章简介2014.10目录1.1数据挖掘的目的1.2数据挖掘的概念1.3数据挖掘的对象1.4数据挖掘的挖掘模式1.5数据挖掘的技术1.6数据挖掘的应用领域1.7数据挖掘的主要挑战1.8总结1.1WhyDataMining?1.1.1MovingtowardtheInformationAge1.1.2DataMiningastheEvolutionofInformationTechnology1.2WhatisDataMining?1.3WhatkindsofDataCanbeMined?1.4Whatkinds

2、ofPatternsCanbeMined?1.5WhichTechnologiesAreUsed?1.6WhichKindsofApplicationsAreTarget?1.7MajorIssuesinDataMining1.8Summary1.1.1人类迈入信息时代我们已经进入大数据的时代。每天，有大量的（TB、PB数量级）的数据从商业、社会、科学和工程、医药以及生活中的方方面面涌入我们的计算机网络、万维网、以及各种不同的数据存储设备。这些爆炸性增长的、广泛可获取的、大量的数据使我们真正的处于数据时代。强大的

3、、万能的能够自动从大量数据中挖掘有价值的信息的工具被急切的需要。这种需求催生了数据挖掘。这个领域是年轻、动态变化并且前景乐观的。数据挖掘正在并且将会持续的将我们大踏步的从数据时代跃入即将到来的信息时代。举例1.1数据挖掘将一个大数据集转化成知识搜索引擎（例如google)每天接收到数以亿计的查询请求。每一个请求都看成是用户描述他（她）需要的信息的一个事务。搜索引擎能从如此巨大的查询请求的数据集中学习到什么样新的有用的知识呢？令人感兴趣的是，我们能从这些数据中发现一些揭示有价值信息的模式。而靠单个查看每个数据记录是

4、无法做到这点的。举个例子，谷歌的FluTrends使用一些特定的词语作为流感的指示器。它能够发现搜索流感信息的人群的数量与真正有流感症状的人群的数量之间的紧密关系。当所有的关于流感的信息聚集在一起时，就能呈现某种模式。使用聚集的谷歌搜索数据，FluTrends能比传统系统提早两周估计到流感的发生。这个例子展示了数据挖掘怎样将大量的信息转化成知识。1.1.2数据挖掘是信息科技的进化数据挖掘技术可以被看做是信息技术自然进化的产物。数据库和数据管理技术发展的几个阶段：数据收集和数据库创建、数据管理（数据存储，检索和数据

5、库事务处理）、高级数据分析（数据仓库和数据挖掘）。从1960年开始，数据库和信息科技开始从最初的文件处理系统进化到更复杂和功能更强大的数据库系统。从1970年开始，对数据库系统的研究从早期的层式结构和网状结构发展到关系数据库系统。数据库管理系统建立之后，数据库技术发展到高级数据库、数据仓库和数据挖掘阶段。丰富的数据、对多种数据分析工具的需求，被称为是“数据丰富但是信息量少”的环境，这种巨大的鸿沟催生了数据挖掘工具的系统化发展，把数据坟墓转化为知识金矿。1.1WhyDataMining?1.2WhatisDataM

6、ining?1.3WhatkindsofDataCanbeMined?1.4WhatkindsofPatternsCanbeMined?1.5WhichTechnologiesAreUsed?1.6WhichKindsofApplicationsAreTarget?1.7MajorIssuesinDataMining1.8Summary1.2什么是数据挖掘？数据挖掘是从大量数据中发掘有趣的模式和知识的过程。很多词语有和数据挖掘类似的含义：数据知识挖掘、知识抽取、数据/模式分析、dataarchaeology,da

7、tadredging.很多人把数据挖掘看做和一个流行的词汇knowledgediscoveryfromdata(KDD，知识发现)一样的含义。数据挖掘的步骤1数据清洗（去除噪声和不一致的数据）2数据聚合（多种数据源的融合）3数据选择（和分析任务相关的数据从数据库中检索出来）4数据转换（数据被使用摘要和聚合的方式转换和联合成合适用于挖掘的形式)5数据挖掘（最重要的步骤，智能的抽取数据模式的方法）6模式评估7知识表达1.1WhyDataMining?1.2WhatisDataMining?1.3Whatkindsof

8、DataCanbeMined?1.3.1DatabaseData1.3.2DataWarehouse1.3.3TransactionalData1.3.4OtherKindsofData1.4WhatkindsofPatternsCanbeMined?1.5WhichTechnologiesAreUsed?1.6WhichKindsofApplicationsAreTar