线性判别分析.docx

《线性判别分析.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、用线性判别分析（LinearDiscriminantAnalysis）对Wine数据集进行分类1.线性判别分析（LDA）原理LDA是统计学上一种经典的分析方法，在医学中的患者疾病分级、经济学的市场定位、产品管理、市场研究、人脸识别和机器学习等领域有广泛的应用。LDA可以用于对数据进行分类，首先，我们要用事先分好类的数据对LDA进行训练，建立判别模型，所以LDA属于监督学习的算法。LDA的基本思想是投影，将n维数据投影到低维空间，使得投影后组与组之间尽可能分开，即在该空间中有最佳的可分离性，而衡量标准是新的子空间有最大的类间距离和最小的类内距离。LDA的目标是求出使新的子空间有最大

2、的类间距离和最小的类内距离的向量a，构造出判别模型。形象地理解，如图1，红色点和蓝色点分别代表两个类别的数据，他们是二维的，取二维空间中的任一个向量，作各点到该向量的投影，可以看到，右图比左图投影后的分类效果好。再如图2，是三维空间的各点作投影到二维空间，可以看到左图比右图分类效果好。有时需要根据实际选择投影到几维才能实现最好的分类效果。构造判别模型的过程：（1）作投影设n维数据样本集X={xi

3、i=1,2,3…j}，这j个样本可以分为k个类别X1，X2，…，Xk.令w为n维空间中任一向量，则样本xi在w上的投影为wTxi，得到的是一维数据.（2）计算投影后的类内距离与类间距离其

4、中利用了方差分析的思想：类内距离：E0=t=1kx∈Xt(wTx-wTXt)2Xt表示Xt中的样本未投影前的平均.整理得E0=wTEw其中矩阵E=t=1kx∈Xtx-Xtx-XtT类间距离：B0=t=1knt(wTXt-wTX)2X表示所有样本未投影前的平均，nt表示Xt中样本数整理得B0=wTBw其中矩阵B=t=1knt(Xt-X)(Xt-X)T（1）构造目标函数为了得到最佳的w，我们希望E0尽量小，B0尽量大，因此构造J(w)=B0E0问题转化为求w使J(w)达到极大值，但使J(w)达到最大值的w不唯一，于是我们加上一个约束条件E0=1即求w，使J(w)在约束条件E0=1下达

5、到极大值（2）拉格朗日乘数法求w利用拉格朗日乘数法我们可以得到以下等式(E-1B)w=λwλ为拉格朗日乘子即λ为E-1B的特征值，w为对应的特征矩阵由特征方程

6、E-1B-λI

7、=0可解除特征值λ和特征向量w（3）导出线性判别函数把特征值由大到小排列，取最大的特征值，所求w就是对应的特征向量w导出线性判别函数为u(x)=wx若用一个线性判别函数不能很好区别各个总体，可用第二大特征根，第三大特征根……对应的特征向量构造线性判别函数进行判别（即上面所说根据实际选择降维到几维空间），线性判别函数个数不超过k-1个。至此，已构造出判别模型，利用判别模型对新的样本代入判别函数，把结果与设定的

8、阀指比较，把新样本判给不同的类别。1.利用R语言中的lda()函数对wine数据集进行分类lda()函数用于线性判别分析，在MASS包中>wine<-read.csv(file="d:/wine.csv")#读入wine>attach(wine)>library(MASS)>wine.lda<-lda(Cultivars~Alcohol+Malic.acid+Ash+Alcalinity.of.ash++Magnesium+Total.phenols+Flavanoids+Nonflavanoid.phenols+Proanthocyanins++Color.intensity+

9、Hue+OD280.OD315.of.diluted.wines+Proline,data=wine)#用wine对LDA进行训练>wine.lda#输出结果>wine.pred<-predict(wine.lda,newdata=wine)$class#用LDA输出的结果对wine进行判别测试>a<-table(wine.pred,Cultivars)#画列联表表示分类结果>a>barplot(a,beside=T,legend.text=attr(a,"dimnames")$wine.pred)#画条形图表示分类结果代码如下：Call:lda(Cultivars~Alcoho

10、l+Malic.acid+Ash+Alcalinity.of.ash+Magnesium+Total.phenols+Flavanoids+Nonflavanoid.phenols+Proanthocyanins+Color.intensity+Hue+OD280.OD315.of.diluted.wines+Proline,data=wine)Priorprobabilitiesofgroups:#先验概率1230.33146070.39887640.2696629Groupm