《模式识别》讲义教案03非参数判别分类方法

《《模式识别》讲义教案03非参数判别分类方法》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第三章非参数判别分类方法3.1引言笫二章的一些重要概念样本X用特征表示J厂概率密度函数，后验概率特征空间分布规律［＜训练集（直接）表示分类——确定特征空间的合理划分——决策域决策域——具有同一属性元素的集合例：线性决策域，两维giCr）=®內+wl2x2+W

2、（）=Weg2（x）=vv2lx,+w22x2+vv20=x+vv20R:g］（兀）〉g2（X）R2:gi（兀）@2（兀）分界面：gl（x）=g2（X）（Wj—他）+Wjo—VV20=0nW，X+Wb=0椭圆形决策域：分界面（X—“y》（X—“）=O复杂划分划分的实质：确定分界血方程的复杂程度制

3、约的因素：（1）最佳准则的选择——不同选择在同样分布下得到不同结果。（2）计算的复杂度——线性、二次函数、……対复杂度不加限制的方法：贝叶斯决策提供理论基础，没有考虑复杂度。随着样本的不同分布，分界而方程会呈现不同的复杂度、近邻法也不子限定复杂度。对复杂度加限制的方法：在限定复杂度，或函数形式条件卞求最佳。3.2线性分类器判别函数：判别规则：如果(x)=maxgj(x),则兀wcot第i与第j类的决策域分界面一定是线性分界面设计方法：(1)确定最佳准则甫数J(2)找到使J达极值时比及叱()的计算方法。(3)按所确定的计算方法计算比及叱°3.2.4Fis

4、her线性判别函数讨论范围：两类别，二维空间任务：给定训练集，设计分界而w权向量——决定分界面方向5)阈值——在方向确定条件下确定分界面位置的意义(1)向量点积(2)投影好的w：p42.图3.2(1)同类样本在W上的投影聚集性强(2)不同在样本在W上的投影离散性强表示成可计算形式：投影是一个数量离数度:各类离散度呼=工(丁一和2准则:几(吩罟寻(3-22)转化成与W有关的函数m.=丄，y=丄yWrX叩丄YX=WTm.)]2=WT(m}-m2)TW=WTShW9:.（m}-m2）2=（WTm}-WTm2）2=WT（m}-m2£样本类间离散度矩阵，而=工［

5、w气x—“）f=工W气x—“•）（x—加yW=以匕（兀_仙）（兀_网）7打=WTS（WS,样本类内离散度矩阵定义Sw二S

6、+S?样本总类内离散矩阵wTsW则®)忤(3-26)最佳w的确定：使Jf（W）达最大的W条件极值，令WTSwW=C条件下达最大。拉格朗口乘子方法:L(W,A)=WTSbW-A(WTSwW-C)=0=>S”—=0向暈求导W=(WHW2)T况_刊E丿(3-28)(2-29)*数量,由于S/,W*=(m,-m2)(m1一®)rW*=(“一®)与高斯分布贝叶斯决策为=工2=工相当(2-63)P.26页©)的选择(看书P.44)3.2.5感知

7、准则函数线性分类器的另一种代表性设计方法。意义十分重大，一一开创了自学习机制这一-条路。利用错误决策提供的信息改进系统的性能。対人工神经元网络的研究与发展产生极其重要的影响。感知准则函数设计线性分类器。两类别情况进行讨论。任务：设计判别函数g(X)=WTX+w()增广权向量A=(wo，W]…，wd)T增广样本向量Y=(1,xh…，xQT贝ljg(X)=>g(Y)=ATY作用：将一个在d维空间中不过原点的超平面划分转换成在一个d+1维空间中过原点超平而的划分如果该两类线性可分，贝戚到A：A"〉O,Yw©Azy

8、®whenYgco2则正确划分任一八A’y>0有错分类，则存在/使ATy>0错分类子集Yb={y7ArYf<0}准则函数Jp(A)=工一以0Y,eYk在0=0}达到极小值。使用梯度下降算法：VJP(A)=动p(A)迭代算法A(k+l)=A(k)-pAVJP(A)=A(k)+pk工厂Y;eYK图3.6p.47自学习过程——在数学上的迭代求解过程。3.2.6其它准则。线性不可分条件下：总体上求最佳。如最小错分样木数准则，最小平方误差准则。最小平方误差准则:样本集：两个类别共N个样本，N,笫i类样本个数，笫n个样本人,目标：心＞0将不等式改成等式：以匕=乞

9、＞0N如bn=或叽=十,(当YnG69,-)定义误差项5=ATY厂®最小平方误差准则：AJ…b定义:Y=■■■=■■■■■■,b=■■■_坯1…A_要求YA=b误差向量£=:准则函数：人(a)TH

10、2切梯度为零:8JS8A=2yz（K4-Z?）=0YTYA=YTbA=(YTYyYThN后M个分量为才)其中b是--种控制向量,两个有意义的例子(1)当…，处,•JLnn」其中W=S「(m]-“)，与Fisher准则效果一致w（）=-WTmNjn、+N2m2N(2)当b=l,••…孑，(所有分量为1)并且NTco时线性分类器a7/=0最小错误分类器p（

11、®Iy）-p（co2

12、r）=g0（y）能使e2=j(Ary一g0(YffP(Y)dY达到最小最