《数据挖掘与检索》1-绪论

《《数据挖掘与检索》1-绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据挖掘与检索电子与信息工程系冯镔fengbin@mail.hust.edu.cn1课程内容数据挖掘的目的和意义分类技术的基本原理关联分析的基本概念和算法聚类分析的基本概念和算法结论和展望2教材P-N.Tan,M.SteinbachandV.Kumar,IntroductiontoDataMining,Wiley,2005T.Hastie,R.Tibshirani,andJ.Friedman,TheElementsofStatisticalLearning:DataMining,Infere

2、nce,andPrediction,Springer-Verlag,20013考核笔试70%Project30%4Chapter1IntroductionWhat?ThedefinitionofdataminingWhy?ThemotivationofdataminingHow?Dataminingfunctionality?MajorissuesindataminingMajordataminingresearchtopics56什么是数据挖掘数据挖掘是一个利用各种分析工具在海量数

3、据中发现模型和数据间关系的过程，这些模型和关系可以用来做出预测数据挖掘(DM)，是数据库中知识发现（KnowledgeDiscoveryfromDatabase，简称KDD）不可缺少的一部分，它是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的，人们事先不知道的，但又潜在的有用信息和知识的过程7什么是数据挖掘知识发现的过程8什么是数据挖掘数据准备：熟悉相关的背景知识，搞清用户需求数据清洗（dataclearing）：清除数据噪声和与挖掘主题明显无关的数据数据集成（dataint

4、egration）：将来自多数据源中的相关数据组合到一起数据转换（datatransformation）：将数据转换为易于进行数据挖掘的数据存储形式9什么是数据挖掘数据挖掘（datamining）：利用智能方法挖掘数据模式或规律知识，是知识挖掘的一个基本步骤模式评估（patternevaluation）：根据一定的评估标准，从挖掘结果中筛选出有意义的模式知识知识表示（knowledgepresentation）：利用可视化和知识表达技术，向用户展示所挖掘出的相关知识1011数据挖掘系统结构什么是数

5、据挖掘数据库、数据仓库：数据源，通常需要使用数据清洗和数据集成操作，对这些数据对象进行初步的处理数据库或数据仓库服务器：负责根据用户的数据挖掘请求，读取相关的数据知识库：用于指导数据挖掘的搜索过程，并用于帮助对挖掘结果的评估12什么是数据挖掘数据挖掘引擎：数据挖掘系统最核心部分，通常完成定性归纳，关联分析，分类归纳，进化计算和偏差分析等功能模式评估模块：根据某种度量准则，协助数据挖掘模块聚焦挖掘更有意义的模式知识，可提高数据挖掘的效率可视化用户界面：帮助用户与数据挖掘系统本身进行沟通交流13什

6、么是数据挖掘Simplicity(association)rulelength,(decision)treesizeCertaintyConfidence,classificationreliabilityofaccuracyNoveltyNotpreviouslyknown14一个数据挖掘的例子1516KDD与数据库报表工具有什么区别？数据库报表工具抽取某些数据，经过一些数学运算，最终以特定的格式呈现给用户操作型工具，直接的，单一的，确定的KDD是对数据背后隐藏的特征和趋势进行分析，

7、最终给出关于数据的总体特征和发展趋势发现影响结果的多个潜在因素17OLAP：OnlineAnalyticalProcessingOLAP能允许用户以交互方式浏览数据仓库内容，并对其中的数据进行多维分析，从中提取出需要的信息对不同时期，不同地域的商业数据的变化趋势进行对比分析18OLAP分析过程是建立在用户对隐藏在数据中的某种知识有预感和假设的前提下的，即由用户来指导信息分析和知识发现过程由于数据仓库中的数据量过大，其中隐藏着丰富的不为用户所知的有用信息和知识，需要有智能化的自动技术，来帮助挖掘

8、数据中的各类知识19WhatisnotDataMining?LookupphonenumberinphonedirectoryQueryawebsearchengineforinformationWhatisDataMining?Grouptogethersimilardocumentsreturnedbyasearchengine习题120为什么需要数据挖掘Knowledgediscoveryinolddays