资源描述：
《【精品】判别分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、判别分析假设冇R个总体，判别分析就是根据某个个体的观察值来推断该个体是来自这R个总体中哪一个总体。下面的例子说明判别分析有着广泛的应用。（1）根据已有的气象资料，如气温、气压等判断明天是晴天还是阴天，是有用还是无阳。明天的天气情况是未来的行为。因为是未来行为，难以得到它的完全信息。已有的气象资料仅是它的一部分信息。基于未来行为的不完全信息对未来行为进行预测是判别分析的一个应用。（2）在非洲发现了一种头盖骨化石，考古学家耍研究它究竟是像猿（如黑猩猩）还是像人。倘若研究对彖是活的，就能对他进行各方面的观察，冇充足乃金完全的信息。但研究对象早就死了，他的很多重要信息
2、都丢火了。考古学家只能根据不完全信息，如牙齿的长宽来进行判断。当信息丢失后，对过去的行为进行判断是判别分析的另一个应用。（3）冇时人们难以得到完全的信息，这里冇两种情况。情况Z—是信息完全只能来自破坏性试验。例如，汽车的寿命只有在把它用坏Z后才知道。一般地，希坯根据一些测屋指标（如零部件的性能）就能事先对汽车的寿命作出判断。情况Z二是获得完全信息的代价太高。例如，有些疾病可用代价昂贵的检査或通过于•术得到确诊。但人们往往更希望用便于观察得到的一些外部症状來诊断体内的疾病，以避免过大的开支和损失。在完全信息难以得到吋，对行为判断是判别分析的乂一•格应用。止因为判
3、别分析是基于不完全信息作出的判断，它就不可避免地会犯错误，一个好的判别法则错判的概率应很小。除了错判概率，在判别分析问题中还应考虑费用，一个好的判别法则错误的损失应很小。关于判别法则优良性的讨论从略。判别分析问题的描述：设有R个加维总体G
4、,G2,…,其分布特征己知（如己知分布函数分别为片（0,耳（0,…,心（兀），或知道來自各个总体的训练样本）。对给定的一个新样品X,我们要判断它來白哪个总体。在进行判别归类时，由假设的前提，判别的依据及处理的手法不同，可得出不同判别方法。如距离判别，贝叶斯（Bayes）判别，费希尔（Fisher）判别，逐步判别，序贯判别等。
5、5.1距离判别距离判别的基本思想是：样品和哪个总体距离最近，就判断它属哪个总体。距离判别也称为直观判别法。一、马氏距离定义5.1.1（马氏距离）设总体G为加元总体（考察加个指标），均值向量为“=（“,••・,血）'，协方差阵为Z=（＜7/y），则样品X=（坷,兀Q与总体G的马氏距离定义为当加=1时,dSG）"“）丫-叽=。二、两总体的距离判别先考虑两个总体伙=2）的情况。设有两个总体G
6、和G?,已知来AGr.（z=l,2）的训练样本为X:；］=（巧）,馬），…,球］）（心1,2;r=1,2,…心）其中％是取口G,的样品个数，则总体G,的均值向量门⑴的估计量为总
7、体G,•的协方差纭的估计S,寸弟m.•劝（称为组内协方差阵）为Sj=A=（s；）Z；IXW1坷_1其中A=2Z（x器-乂⑴）（x^-x（/）y称为组内离差阵;即=丄7H（瑞-球））（瑞-球））'aj=1,…,加）#1•"~X当假定Z（=Z22工时，反应分散性的协方差阵工的估计为Jks—工A=（%）”"并称S为合并样本协方差阵，其中12W%=宀££（瑞-矿）（瑞）-球））（/八1,…冲）介_kt=/=i问题是对任给的加维样品X要判断它来自哪个总体。1、S1=Z2时的判别方法一个最冑观的想法是，分别计算样品X到两个总体的距离d：（X）和d；（X）,并按距离最近准
8、则判别归类，判别准则为：J判Xgq,当〃2（x,GJvJ2（X,G2）H'J-［判XwG］,当d2（x,Gjnd2（x,G2）时GG,XX判判判待久当沪(X,GJ＜沪(X,G2)吋G「当d2(X,GJvd"x,G2)时当d2(X,GJ=d"X,G2)吋这里的距离是指马氏距离。利用马氏距离的定义及两总体协方差阵相等的假设，可以简化马氏距离的计算公式：〃2(xg)=(X-x(i)ys~x一乂⑴)=x's~[x-2[(s~'x(i)yx-^(x(i)ys-]x(i)]=X$」X-2Yj(X)(i=1,2)其中乙(X)是X的线性函数。对给定样品X,为计算X到各种总体
9、的马氏距离，只须计算乙(X)：何心"一押忱忻0-=1,2)乙(X)称为线性判别函数，①二S"乂⑴称为判别系数向量，5=-(X(/)),5-1X0)(i=1,2)称为常数项。若考察这两个马氏距离之差，经计算可得：曲)-曲)=2(1*(刖+壬⑵)计(0"吩2咋)其中W(X)=(X—(乂⑴—乂⑵)，X*=l(x(1)+乂⑵)。则判别准则还可以写为：J判XwG
10、,当W(X)〉O时[判XgG2,当W(X)S0时W(X)是X的线性函数，叩W(X)=d'(X—X],其中a=S"(乂⑴一乂⑵)。w(x)也称为线性判别函数，。为判别系数。W(X)把加维空间R"划分为两部分:D{
11、={X:W(X)>0}和£>2={X:
