线性判别分析LDA与主成分分析PCA.ppt

《线性判别分析LDA与主成分分析PCA.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、线性判别分析（LDA）与主成分分析（PCA）重庆大学余俊良第一部分线性判别分析（LDA）介绍线性判别分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，1936年由RonaldFisher首次提出，并在1996年由Belhumeur引入模式识别和人工智能领域。例子举一个例子，假设我们对一张100*100像素的图片做人脸识别，每个像素是一个特征，那么会有10000个特征，而对应的类别标签y仅仅是0，1值，1代表是人脸。这么多特征不仅训

2、练复杂，而且不必要特征对结果会带来不可预知的影响，但我们想得到降维后的一些最佳特征（与y关系最密切的），怎么办呢？基本思想线性判别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果。投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。因此，它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。下面给出一个例子，说明LDA的目标：可以看到两个类别，一个绿色类别，一个红色类别。左图是两个类别的原始数据，现在要求将数据从二维降维到一

3、维。直接投影到x1轴或者x2轴，不同类别之间会有重复，导致分类效果下降。右图映射到的直线就是用LDA方法计算得到的，可以看到，红色类别和绿色类别在映射之后之间的距离是最大的，而且每个类别内部点的离散程度是最小的（或者说聚集程度是最大的）。LDA要说明白LDA，首先得弄明白线性分类器(LinearClassifier)：因为LDA是一种线性分类器。对于K-分类的一个分类问题，会有K个线性函数：当满足条件：对于所有的j，都有Yk>Yj,的时候，我们就说x属于类别k。对于每一个分类，都有一个公式去算一个分值，在所有的公式得到的分值中，找一个最大的，就是所属的分类。权向量（we

4、ightvector）法向量（normalvector）阈值（threshold）偏置（bias）LDA上式实际上就是一种投影，是将一个高维的点投影到一条高维的直线上，LDA的目标是，给出一个标注了类别的数据集，投影到了一条直线之后，能够使得点尽量的按类别区分开，当k=2即二分类问题的时候，如下图所示：红色的方形的点为0类的原始点、蓝色的方形点为1类的原始点，经过原点的那条线就是投影的直线，从图上可以清楚的看到，红色的点和蓝色的点被原点明显的分开了。下面我来推导一下二分类LDA问题的公式：LDA假设用来区分二分类的直线（投影函数)为：LDA分类的一个目标是使得不同类别之

5、间的距离越远越好，同一类别之中的距离越近越好，所以我们需要定义几个关键的值:类别i的原始中心点(均值)为：（Di表示属于类别i的点):类别i投影后的中心点为：衡量类别i投影后，类别点之间的分散程度（方差）为：最终我们可以得到一个下面的公式，表示LDA投影到w后的目标优化函数：LDA我们分类的目标是，使得类别内的点距离越近越好（集中），类别间的点越远越好。分母表示每一个类别内的方差之和，方差越大表示一个类别内的点越分散，分子为两个类别各自的中心点的距离的平方，我们最大化J(w)就可以求出最优的wLDA我们定义一个投影前的各类别分散程度的矩阵，其意思是，如果某一个分类的输入

6、点集Di里面的点距离这个分类的中心点mi越近，则Si里面元素的值就越小，如果分类的点都紧紧地围绕着mi，则Si里面的元素值越更接近0.带入Si，将J(w)分母化为：LDA同样的将J(w)分子化为：这样目标优化函数可以化成下面的形式：LDA这样就可以用拉格朗日乘子法了，但是还有一个问题，如果分子、分母是都可以取任意值的，那就会使得有无穷解，我们将分母限制为长度为1，并作为拉格朗日乘子法的限制条件，带入得到：这样的式子就是一个求广义特征值的问题了。如果Sw可逆，那么将求导后的结果两边都乘以得这个可喜的结果就是w就是矩阵的特征向量了。这个公式称为Fisherlineardis

7、crimination。LDA让我们再观察一下，发现前面SB的公式SB=(m1-m2)(m1-m2)T那么SBW=(m1-m2)(m1-m2)TW=(m1-m2)λ’代入最后的特征值公式得：SBW=(m1-m2)(m1-m2)TW=(m1-m2)λ’=λw由于对w扩大缩小任何倍不影响结果，因此可以约去两边的未知常数λ和λ‘，得到:W=LDA至此，我们只需要求出原始样本的均值和方差就可以求出最佳的方向w，这就是Fisher于1936年提出的线性判别分析。看上面二维样本的投影结果图：LDA对于N(N>2)分类的问题，就可以直接写出以下的结论：