数据挖掘建模实例课件.ppt

《数据挖掘建模实例课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据挖掘案例梁永顺南京理工大学理学院应用数学系2010年8月12日数学建模竞赛中的问题大都来自实际的科研课题，往往需要处理大量的数据。如CUMCM2004中的A题(奥运会临时超市网点设计)，其附录中的ACCESS数据库中共有1000多条纪录。CUMCM2004中的B题(电力市场的输电阻塞管理)，共提供了6个数据表，每个表中都有很多数据。而在这两个题的第一问首先都要求从这些数据中找出规律来。而当前，无论在学术界还是产业界，数据挖掘(Datamining)都是一个相当时髦和红火的专题。直观上，DataMining就是要挖掘出隐藏在大量

2、原始数据中的规律和模式，为管理和研究提供资讯，以期得到更多的收益。因此，在数学建模竞赛中使用数据挖掘的方法将会变得越来越普遍。常用数据挖掘方法和工具1。多元回归分析回归分析就是一种统计分析的方法，它的主要用处是寻找两个或两个以上的变量之间的相互变化的关系。如CUMCM2004中的B题(电力市场的输电阻塞管理)中，可建立如下的多元线性回归模型：其中为回归系数，为随机误差，影响的其他因素均包含其中，大致服从正态分布。将CUMCM2004中B题表1中的0—32个方案一共33组数据代入模型，直接利用Matlab统计工具箱中的regress

3、命令求解回归系数。得出的结果为：回归模型一般要进行检验，对上述多元线性回归模型，直接利用Matlab的统计工具箱中的函数解出检验统计量得(如下表)参照上表，我们可以看到均在0。999以上，F值远远超过F检验的临界值，P远小于a，因而这个模型的解释是非常可靠的。2。主要成分分析主成分分析之主要目的是希望用较少的变量去解释原始资料中的大部份变异，期望能将我们手中的许多相关性很高的变量转化成彼此互相独立的变量，能由其中选取较原始变量个数少，能解释大部份资料中的变异中的几个新变量，也就是所谓的主成分，而这几个主成分也就成为我们用来解释资料

4、的综合指针。如CUMCM2003中的A题(SARS的传播)，在考虑SARS病毒与环境因素的关系时，建立了如下的主成分分析模型：其中PC(I)，PC(2)，…，PC(p)分别叫做第1主成分，第2主成分，…，以及第p主成分，利用统计具SPSS12求得其主成分如下表由于后几个特征值均为0，所以，前两个主成分基本上能够反映所有的信息。我们用前两个主成分来定环境因素对SARS传播的影响权重。3知识发现知识发现(KDD)是从数据中发现有用知识的整个过程；数据开采(DM)是KDD过程中的一个特定步骤，它用专门算法从数据中抽取模式。该模式是新的、

5、可能有用的和最终可理解的。知识发现过程是多个步骤相互连接、反复进行人机交互的过程。具体包括：①学习某个应用领域：包括应用中的预先知识和目标。②建立目标数据集：选择一个数据集或在多数据集的子集上聚焦。③数据预处理：除噪声或无关数据，去除空白数据域，考虑时间顺序和数据变化等。④数据转换：找到数据的特征表示，用维变换或转换方法减少有效变量的数目或找到数据的不变式。⑤选定数据挖掘功能：决定数据挖掘的目的。⑥选定数据挖掘算法：用KDD过程中的准则，选择某个特定数据挖掘算法(如汇总、分类、回归、聚类等)用于搜索数据中的模式。⑦数据挖掘：搜索或

6、产生一个特定的感兴趣的模式或一个特定的数据集。⑧发现知识：把这些知识结合到运行系统中，获得这些知识的作用或证明这些知识。用预先、可信的知识检查和解决知识中可能的矛盾。4人工神经网络人工神经网络是一种常被用于预测和分类的计算方法。神经网络由节点组成，它们通过刺激和抑制连接而相互连接。它是一种黑箱方法。建模时，不必考虑各个因素之间的相互作用及各个因素对输出结果的影响机制。这恰好弥补了我们对各个因素及对输出果的机制不清楚的缺陷。数据挖掘中还有时间序列分析、因子分析、判别分析、聚类分析、典型相关分析、决策树、遗传算法等，它们在数学建模培训

7、与竞赛中都是常用的非常有效的建模方法。OVER