资源描述：
《数据挖掘教学提纲.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、数据挖掘:技术及其应用沙朝锋复旦大学计算机科学与工程系2大纲数据挖掘定义分类问题聚类问题关联分析文本挖掘Web挖掘社会网络分析…3什么是数据挖掘?从数据中识别有效的、新奇的、有用的以及可理解的模式的过程.也称为KDD数据库中的知识发现(KnowledgeDiscoveryinDatabases)“We’redrowningininformation,butstarvingforknowledge.”-JohnNaisbett4相关领域机器学习(Machinelearning)数据库(Databases)统计学(S
2、tatistics)信息检索(Informationretrieval)可视化(Visualization)高性能计算(High-performancecomputing)...5相关领域数据挖掘数据库系统统计学其他领域算法机器学习可视化6数据挖掘应用电子商务(E-commerce)市场和零售(Marketingandretail)金融(Finance)电信(Telecoms)药物设计(Drugdesign)过程控制(Processcontrol)...7数据挖掘过程了解领域,先验知识,和目标数据集成和选取数据清
3、洗和预处理建模和模式搜索解释结果整理并使用发现的知识循环8数据挖掘:一个KDD过程数据挖掘—KDD过程的核心数据清洗数据集成数据库数据仓库Knowledge任务相关的数据选取数据挖掘模式评估9数据挖掘和商务智能提升对商务决策的支持最总用户商务分析员数据分析员DBA做出决策数据表示可视化技术数据挖掘信息发现数据检查OLAP,MDA统计分析,查询和报告数据仓库/数据超市数据源论文,文件,信息提供商,数据库系统,OLTP10框架:典型的数据挖掘系统数据仓库数据清洗&集成过滤数据库数据库或数据仓库服务器数据挖掘引擎模式评
4、估图形用户接口知识库11数据挖掘:数据源关系数据库数据仓库事务数据库高级数据库和信息库面向对象数据库空间和时态数据库时序数据流数据多媒体数据库异种数据库文本数据库&WWW12数据挖掘任务I分类(Classification)构造模型(函数)来描述和区分各种类别或概念用于未来的预测表示:决策树,分类规则,神经网络预测未知或丢失的数值信息提取(Informationextraction)协同过滤(CollaborativeFiltering)回归分析(Regression)概率估计(Probabilityestima
5、tion)13数据挖掘任务II聚类(Clustering)类的标签未知:对数据分组来形成新的类,如:对房子聚类来发现分布模式把类内的相似性最大化&类间的相似性最小化奇异点检测关联发现(Associationdetection)尿布à啤酒[0.5%,75%]总结(Summarization)趋势和偏差检测(Trendanddeviationdetection)...14分类:定义给定一个记录(样本)集合(训练集)每条记录有一些属性组成,其中一个属性为类别.(x1,x2,…,xn,c)找到一个将类别属性表示为其他属性
6、的函数的模型.(如c=f(x))目标:未见过的记录尽可能准确地被分类.一个测试集用来确定模型的精度.通常,给定的数据集被分成训练集和测试集,训练集用于建立模型,而测试集用于检验该模型.15分类任务演示16分类任务例子预测肿瘤细胞是良性还是恶性将信用卡交易分为正常或是欺诈对蛋白质的二级结构进行分类手写体的识别:0,1,…,9Email过滤:识别垃圾邮件17常用的方法决策树(Decisiontrees)规则归纳(Ruleinduction)贝叶斯学习(Bayesianlearning)神经网络(Neuralnetwo
7、rks)支持向量机(SupportVectorMachine)Ensemble方法(AdaBoost,Bagging...)…18决策树例子categoricalcategoricalcontinuousclassRefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80K划分属性训练数据模型:决策树19另一个决策树例子categoricalcategoricalcontinuousclassMarStRefundTaxIncYESNONONOYesN
8、oMarriedSingle,Divorced<80K>80K可能有多棵决策树拟合同一个数据集!20决策树分类任务决策树21对测试数据应用模型RefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80K测试数据从树的根节点开始.22对测试数据应用模型RefundMarStTaxIncYESNONONOYesNo
