LDA线性判别分析课件.pptx

《LDA线性判别分析课件.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、LinearDiscriminantAnalysis(LDA)线性判别分析目录LDA扩展LDA简介1经典LDA2LDA限制344LDA简介线性判别分析（lineardiscriminantanalysis），也叫Fisher线性判别分析，是特征提取中最为经典和广泛使用的方法之一。LDA是由R.AFisher于1936年提出来的方法【1】,主要是用来解决生物问题（TaxonomicProblems）的分类问题。它是在1996年由Belhumeur【2】引入模式识别和人工智能领域的.R.AFisher(1890-1962)LDA思想线性判别分

2、析（LDA）的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。因此，它是一种有效的特征抽取方法。两类的线性判别问题两类的线性判别问题可以看作是把所有的样本都投影到一个方向上，然后在这个一维空间中确定一个分类的阈值。过这个阈值点且与投影方向垂直的超平面就是两类的分类面。如何确定投影方向？两类的线性判别问题从直观上看，右图的分类效果比较好，同类之间样本聚集，不同类之间相聚较远训练样本集：X={x1……

3、..xN},每个样本是d维向量，其中w1类的样本是H1={x11……..xN1}，w2类的样本是H1={x12……..xN2}，寻找一个投影方向w（d维向量），两类的线性判别问题定量分析：投影以后样本变成：i=1,2….N原样本每类样例的均值向量：(i=1,2)投影后每类样例的均值：投影后的均值就是样本中心点的投影什么是最佳直线（W）？1.能够是投影后的两类样本的中心点尽量的分离的直线是好的直线，定量表示：J(w)越大越好，但是只考虑J(w)是不行的两类的线性判别问题如左图所示，样本点均匀分布在椭圆里，投影到横轴x1上时能够获得更大的中心

4、点间距J(w)，但是由于有重叠，x1不能分离样本点。投影到纵轴x2上，虽然J(w)较小，但是能够分离样本点。因此我们还需要考虑样本点之间的方差，方差越大，样本越分散，样本点越难以分离两类的线性判别问题散列值（scatter）,几何意义是样本点的密集程度，值越大，越分散，值越小，越集中。投影前类内离散度矩阵：总类内离散度矩阵：Sw=S1+S2类间离散度矩阵：投影后：类内离散度：总类内离散度：类间离散度：两类的线性判别问题我们希望寻找的投影方向使投影以后两类尽可能分开，而各类内部又尽可能聚集，这一目标可以表示成Finsher准则函数目标是求得

5、是上式最大的投影方向wJF(w)是广义的Rayleigh熵两类的线性判别问题当Sw非奇异时，求解转化为Sw^-1Sb的特征值问题，使J(w)最大的变换矩阵W由Sw^-1Sb的特征值所对应的特征向量组成多类的线性判别问题训练样本集：X={x1……..xN},每个样本是d维向量，分别属于c个类别从类内离散度和内间离散度来考虑：（假设样本是二维的，从几何意义上考虑）多类的线性判别问题最后还归结到了求矩阵的特征值上来了。首先求出的特征值，然后取前K个特征向量组成W矩阵即可。注意：由于中的秩为1，因此的秩至多为C（矩阵的秩小于等于各个相加矩阵的秩的

6、和）。由于知道了前C-1个后，最后一个可以有前面的来线性表示，因此的秩至多为C-1。那么K最大为C-1，即特征向量最多有C-1个。多类的线性判别问题实例：将3维空间上的球体样本点投影到二维上，W1相比W2能够获得更好的分离效果。PCA选择样本点投影具有最大方差的方向，LDA选择分类性能最好的方向。LDA扩展LDA存在限制：1.存在秩限制，即对c类问题最多只能提取c-1个最优鉴别矢量。2.面对人脸识别等高维小样本问题时，类内离散度矩阵奇异，无法通过最优化规则函数求得最优鉴别矢量集PCA+LDA【2】1996在人脸识别等小样本问题，需要面对的

7、一个难题就是类内散度矩阵Sw总是奇异的，这是由于训练集N中的的图像数是远远小于每幅图像中的像素数的，为了解决这个问题，Belhumecour等人先做一次PCA算法的降维，消除样本的冗余度，解决Sw的奇异问题，然后应用LDA将维数降到c-1维。PCA的步骤可能会丢弃一些重要的信息借鉴Ｆｉｓｈｅｒ准则思想DLDA【5】2000主要思想：直接优化Fisher准则，核心就是寻找一个矩阵来同时对角化Sw和Sb,丢弃Sb包含无用信息的零空间，保持含有重要分类信息的Sw的零空间。在原始维数空间中求解最优鉴别矢量集计算量太大，求解困呐借鉴Ｆｉｓｈｅｒ准则

8、思想MFLDA【4】2007在高光谱遥感图像中使用经典的LDA算法来进行降维主要存在以下问题：没有足够的训练集，在一个图像场景上不能知道所有现有的类别（例如背景类的个数和特征）。所以对LDA进