线性判别分析LDA

《线性判别分析LDA》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、线性判别分析（LDA）基本思想线性判别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，即把高维空间中的数据点投影到一条直线上去，将多维降为一维。并且要求投影后各样本的类间散布距离最大，同时类内散布距离最小。LDA二分类问题公式推导假设A和B为分类明确的两类症状。在总体A中观察了P例，在总体B中观察了q例，每一例记录了n个指标，分别记为x1,x2,…,xn。令y是n个指标的一个线性函数，即y=w1x1+w2x2+…+wnxny=wTx其中w1，w2，…，wn是待估计的未知系数。我们称上述线性函数是线性判别法

2、的判别函数。假设用来区分二分类的直线（投影函数)为：类别i的样本均值:类别i投影后的均值为：投影后，类别内点之间的分散程度（方差）为：最终我们可以得到一个下面的公式，称为准侧函数。为了找到最有利于分类的的方向W，还需要建立一个准侧函数：LDA我们分类的目标是找到一个最优化的W，使得类别内的点距离越近越好（集中），类别间的点越远越好。分母表示每一个类别内的方差之和，方差越大表示一个类别内的点越分散，分子为两个类别各自的中心点的距离的平方，我们最大化J(w)就可以求出最优的w定义：（1）样本类内离散度矩阵Si和总类内

3、离散度矩阵（2）样本类间离散度矩阵SBLDALDA然后将J(w)分子和分母分别化为：这样目标优化函数可以化成下面的形式：瑞利商根据广义Rayleigh商的性质:J（w）的极值与w的大小无关，只与w的方向有关。Fisher算法步骤总结：由Fisher线性判别式求解向量的步骤：①把来自两类的训练样本集分成和两个子集和。②由，i=1,2，计算mi。③由计算投影后各类的类内离散度矩阵④计算类内总离散度矩阵⑤计算Sw的逆矩阵。⑥由求解w*。月份/年龄男孩体重(kg)男孩身高(cm)女孩体重(kg)女孩身高(cm)出生时3.

4、4050.83.3050.11~2个月4.5655.24.3654.22~3个月5.8259.05.4958.03~4个月6.8162.56.3261.14~5个月7.5665.27.0963.85~6个月7.9366.87.5165.76~7个月8.5269.07.9567.57~8个月8.7470.48.2569.18~9个月9.0371.98.4870.59~10个月9.4273.58.8572.2幼儿不同年龄段的身高体重指标：经典Fisher线性判别分析方法LDALDALDASw奇异问题的解决方法：●R-

5、LDA●PCA+LDA●N-LDA●D-LDAR-LDA由于Sw总是半正定的，为了使之正定，可以将另外一个正定的对角矩阵与之相加，以两者之和代替Sw，即是：上式中a为任意正实数，I为单位矩阵，显然对于任意的正实数a，Sw’总是非奇异的，用Sw’代替Fisher准则函数中的Sw。用上述方法就可以求解最优投影方向矩阵。在R-LDA中，对角矩阵的系数a的选择没有理论依据，可以选择多个不同的数值进行分类实验，通过实验结果来选择一个最优的值。用Sw’代替Sw的确可以消除Sw的奇异性，但代替之后，通过最大化Fisher准则函

6、数选取的最优投影方向矩阵就变成原始最优投影方向矩阵的一个近似矩阵，且选择不同的系数a会导致得到不同的最优投影方向矩阵。Sw’=Sw+aI为了保证Sw是非奇异矩阵,需要t+c个训练样本,当特征维数t特别大时,在实际应用中往往难以满足要求。为了解决训练样本不够的情况,提出了中间过渡子空间,即先将t维的高维空间经过PCA降到f维的过渡子空间,再在此空间进行LDA变换,得到最终的g维子空间。更确切地说,可以表示为：PCA+LDAN-LDASw的奇异性意味着Fisher准则函数的分母为零，而在Fisher准则函数中，若有一

7、投影方向可以使得Fisher准则函数分母为零，这样意味着此投影方向可以使得低维空间中的同类数据达到最小的分离。当品为奇异时，意味着有多个投影方向可以使得Fisher准则函数分母为零，即意味着有多个投影方向可以使得低维空间中的同类数据达到最小的分离。从这些不同的投影方向中，若能选出一个投影方向，使原始数据集进此投影后能在低维空间中达到不同类数据的最大分离度，就从某种程度上实现了最大化Fisher准则函数所需要表达的含义。以上是N-LDA解决小样本问题的基本思想N-LDA计算最优投影方向矩阵的方法如下：N-LDA①对

8、Sw进行奇异值分解：②从Uw中找出Sw的零空间null(Sw)：上式中Uw1为Uw的前r1列，Uw2为Uw的后m-r1列，r1=rank(Sw)③将原始数据集投影到此零空间中，计算零空间内数据集的类间散布矩阵SB′：N-LDA④对SB′进行特征值分解：⑤计算最优投影方向矩阵：上式中UB′=(UB1′，UB2′)，UB1′为UB′的前r2列，UB2′为UB′的后r2列，r2