两类别LDA线性判别式分析

《两类别LDA线性判别式分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、LinearDiscriminantAnalysisLDA线性判别式分析法利用线性判别函数设计两类分类器问题的起源在概率密度函数P(x

2、wi)未知的条件下,不再设法求出P(x

3、wi)并转化为后验概率密度函数P(wi

4、x),而是采用以下方法:给定某个线性判别函数类g(x)利用样本集X确定判别函数类g(x)中的未知参数(给定一个costfunction用最优化方法使代价函数取极值)把未知样本x归类到具有最大的判别函数值的类别中线性判别函数的给定一般线性判别函数:广义线性判别函数:结论:对任意判别函数作级数展开，然后取其截尾部分的逼

5、近,通过适当的变换，都可以化为广义线性判别函数来处理.解决由样本集设计线性分类器的主要步骤:准则函数的选取感知准则函数(应用于线性可分的样本集)原理:设:样本集Y={y1,y2,…,yN}为对应于X={x1,x2,…,xN}的增广样本集.感知准则函数解释:设:A为αTyn>0的解区,B为αTyn>b的解区,则:对任意α∈B必有α∈A,即有:A包含B.即新解区B位于原解区A之中.设:αA为A解区边界上的点,则αA满足:αATyn=0.αB为B解区边界上的点,则αB满足:αBTyn=b.B解区边界离开A解区边界的距离

6、

7、αB-αA

8、

9、

10、为:αBTyn-αATyn=bαBT-αAT=b/yn

11、

12、αB-αA

13、

14、=b/

15、

16、yn

17、

18、最小错分样本数准则引子:感知准则函数及其梯度下降算法只适用于线性可分情况，对于线性不可分情况，算法不收敛．但在实际问题中往往无法事先知道样本集是否线性可分.因此，我们希望找到一种既适用于线性可分情况，又适用于线性不可分情况的算法。这种算法对于线性可分问题，可以得到一个如感知准则函数那样的解向量，使得对两类样本集做到将全部样本正确分类；而对于线性不可分问题，则得到一个使两类样本集错分数目最少的权向量.我们把这样的准则称为最小错分样本数准则。

19、最小错分样本数准则函数I:对于式(4-47)定义准则函数I:Jq1=

20、

21、(Yα-b)-

22、Yα-b

23、

24、

25、2找满足:minJq1的α*.(共轭梯度法)最小错分样本数准则函数II:对于式(4-45)定义准则函数II:Jq2=Σ½(1+sgn(yiα))找满足:maxJq2的α*.(搜索法)式中:sgn(yiα)=-1ifyiα<0sgn(yiα)=+1ifyiα≧0平方误差(MSE)准则函数:MSE准则函数的性质: