主分量分析和线性判别分析在分类问题中的应用

《主分量分析和线性判别分析在分类问题中的应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、主分量分析和线性判别分析在分类问题中的应用【摘要】对于维数较多的研究对象，为了研究的方便，总希望先将维数降低.主分量分析（PCA）和Fisher线性判别分析（FDA）是广泛应用于模式识别各个领域的两种常用方法.本文先利用主分量分析，将原始数据维数降低，然后再利用Fisher线性判别分析将维数再次降低，得到低维的数据，实验结果表明了两种方法结合的有效性.【关键词】主分量分析；Fisher•线性判别；距离判别法【Abstract】Astoanobjectofmultidimension,wealwayshopetomakeitsdimensionreducedinordertofacilit

2、atethestudyonit.PrincipalcomponentanalysisandFisherlineardiscriminantanalysisaretwocommonmethodswidelyusedinvariousfieldsofpatternrecognition.Thisarticlereducedthedimensionoforiginaldata，bytheprincipalcomponentanalysisatfirst，andthenuseFisherlineardiscriminantanalysistoreducethedimensiononceagain

3、,obtaininglower-dimensionaldata，finallyexperimentalresultsdemonstratedtheeffectivenessoftwomethods'combination.【Keywords】Principlecompomentanalysis；Fisherlineardiscriminantanalysis；Amethodofdifferentiatingdistances0引言在生产?p科研和日常生活中我们经常会遇到判别分类问题，在这些问题中，已经知道研宄对象可以分为几个类，而且对这些类别也已经作了一些观测，取得了一批样本数据.我们需

4、要对这些数据进行处理，找到不同类别之间的显著性区别和判别方法.主分量分析和线性判别分析是我们最常用的两种方法[1].主分量分析又称主成分分析，也有称经验正交函数分解或特征向量分析.判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值，判别其类型归属问题的一种多变量统计分析方法.线性判别分析是判别分析的一种，它是运用线性方程进行判别.Fisher线性判别为线性判别中最重要的判别方法之一[2].1主分量分析和线性判别分析的原理主分量分析的基本原理：把原来多个变量划为少数几个综合指标的一种统计分析方法，是一降维处理技术.主分量分析的基本思想：主分量分析是设法将原来众多具有

5、一定相关性的指标（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标.通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标[3].Fisher线性判别分析的基本原理：将高维空间中的类映射到低维空间，并且要求在低维空间类与类之间较好区分，是一降维处理技术.Fisher线性判别分析的基本思想：对于多个类来讲，我们希望类内离散度越小越好，类间离散度越大越好.对于原始的类，我们想通过将其投影到低维空间，并且要求经过投影后达到类内离散度最小，类间离散度最大.在投影的过程中，如果投影到一维空间效果不是很好，我们可以将其维数增多[4].2实例现对三类品种的鸢尾属（Iris）

6、植物进行研究，希望通过研宄鸾尾属植物的几个主要指标，可以将一个未知样本进行归类.对莺尾属植物的四个指标进行了统计.对统计数据作如下变换：①对所有样本数据X进行中心化标准化.①对处理后的数据求解相关系数矩阵R得②求解R的特征值Xi和特征向量ei.由上表可以看出，前三个特征值的累积贡献率已达到99.485%,所以我们选取前三个特征值所对应的特征向量为主成分，这样我们就将四维空间降到三维空间.原始数据经过主分量分析，位数降低，得到变换Y=X*E.经过主分量分析，原始数据已经降到三维，我们将对得到的三维空间里的数据再次进行降维处理.我们选取各类中的前40个样本代表该类进行研究.③分别计算出各类的

7、样本均值mk和所有样本的均值m④计算类内离散度矩阵Sw和类间离散度矩阵Sb⑤计算Sb和Sw的广义特征值和特征向量⑥对Y进行Fisher线性判别，得到变换Z=Y*W.⑦计算经过变换后所得到的类的均值通过主分量分析和Fisher■线性判别，我们将样本由四维空间降到一维空间.由上面的计算，我们可以得到公式Z=X*E*W.随机选取45个样本得到样本组x，在选取样本时，前15个样本是从第一类中抽取的，中间15个样本是从第二类中抽取的，最后15