fisher判别分析及其应用_田兵

《fisher判别分析及其应用_田兵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2014年12月渭南师范学院学报Dec．2014第29卷第23期JournalofWeinanNormalUniversityVol．29No．23【数学与应用数学研究】Fisher判别分析及其应用田兵(包头师范学院《阴山学刊》编辑部，内蒙古包头014030)摘要:判别分析法是根据所研究个体的观测值来构建一个综合标准用来推断个体属于已知种类中哪一类的方法．Fisher判别分析法是一种非常重要而且应用极为广泛的判别分析法．文章介绍了Fisher判别分析法的数学思想，详细阐述了在两个总体和多个总体情况下它的判别函数以及判别准则．之后通过举例说明了Fisher判别分析法在解决实际问题

2、中的具体应用．关键词:判别函数;判别准则;协方差矩阵中图分类号:O212．4文献标志码:A文章编号:1009－5128(2014)23－0008－04收稿日期:2014－09－03作者简介:田兵(1982—)，男，山西五台人，包头师范学院《阴山学刊》编辑部编辑，理学硕士，主要从事数理统计研究．DOI:10.15924/j.cnki.1009-5128.2014.23.0020引言判别分析法是根据所研究个体的观测值来构建一个综合标准用来推断个体属于已知种类中的哪一类［1］的方法，这种统计方法在自然科学和社会科学的研究中会经常用到．因为所采用的标准有很多种，所以［2］判别分析也有多

3、种方法，其中Fisher判别分析是常用的判别分析法之一．1数学思想Fisher判别法的数学思想是将多维空间中的点投影到一维直线y上，使得由总体θ1和θ2产生的y尽可［3］能分开，然后再利用距离判别法建立判别准则，进而达到判别个体所属群体的一种统计方法．1．1两个总体的Fisher判别法假设θ1和θ2为二维总体，如图1所示，“●”为θ1的点，“○”为θ2的点，按照原来的横坐标x1和纵坐标x2，很难将这两个总体的点分开，但是如果将这些点朝直线y上投影，形成一维空间点的集合，则能比较［4］容易地分开．图1显然，直线y是x1和x2的线性组合，即y=c1x1+c2x2．一般地，设在p维空

4、间里，x的线性组合为y=Tαx，其中:α为p维实向量，设θ1和θ2的均值分别为μ1和μ2，它们有共同的协方差阵∑，那么线性组合yT=αx的均值为2014年第23期田兵:Fisher判别分析及其应用·9·TTμ1y=E(y

5、x∈θ1)=αμ1，μ2y=E(y

6、x∈θ2)=αμ2，方差为TTvar(y)=var(αx)=α∑α．显然，使得μ1y和μ2y的距离越大的线性组合越好，所以考察以下比值2T2(μ1y－μ2y)［α(μ1－μ2)］=．(1)var(y)αT∑α现在的问题转化为:如何选择α，使得(1)式达到最大值?－1T通过证明，我们有这样的结论:设x为p维随机向量，y=αx，

7、当α=c∑(μ1－μ2)(c为非零常数)时，(1)式可取到最大值．特别地，当c=1时，线性函数－1TTy=αx=(μ1－μ2)∑x称为Fisher线性判别函数．11T－1取μy=(μ1y+μ2y)=(μ1+μ2)∑(μ1－μ2)，容易证明μ1y－μy＞0，μ2y－μy＜0．于是，可22以得到Fisher判别准则:－1T当y=(μ1－μ2)∑x≥μy时，则认为x∈θ1;－1T当y=(μ1－μ2)∑x＜μy时，则认为x∈θ2．－1T如果记W(x)=(μ1－μ2)∑x－μy，则判别准则等价于:当W(x)≥0时，则认为x∈θ1;当W(x)＜0时，则认为x∈θ2．在实际的计算中，总体的均

8、值与协方差阵未知，就需要用样本均值与协方差阵来代替．即用样本均值－－1x1和x2分别代替μ1和μ2，用样本的协方差矩阵S=［(n1－1)S1+(n2－1)S2］来代替．这里n1+n2－2［5］的S1和S2分别是两个样本的协方差阵．1．2多总体Fisher判别TT如果变量很多或者有多个总体，通常要选择若干个投影，即选若干个判别函数y1=α1x1，…，ys=αsxs来进行判别．设有k个总体θ1，θ2，…，θk，有共同的协方差阵∑，θi的均值为μi．令kk－1－－Tμ=∑μi，G=∑(μi－μ)(μi－μ)．ki=1i=1T考虑p维随机向量x的线性组合y=αx，α为p维实向量，则y的

9、均值和方差为TTTμiy=E(y

10、x∈θi)=E(αx

11、x∈θi)=αμi，var(y

12、x∈θi)=α∑α．注意到kk11TT－μy=∑μiy=∑αμi=αμ，ki=1ki=1考虑比值kk2T－2∑(μiy－μy)∑［α(μi－μ)］Ti=1i=1αGα==．(2)var(yx∈θ)αTαTi∑α∑αT现在的问题在于:如何选择α，使得(2)式达到最大值．为了方便起见，设α∑α=1．我们通过下面的结论来解决这个问题:·10·渭南师范学院学报第29卷－1设λ1≥λ2≥…≥λs＞0为∑G的s个非零