ch.3线性与非线性判别函数

《ch.3线性与非线性判别函数》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、线性与非线性判别函数模式识别钟珞等编著武汉大学出版社2006.91本章主要内容l感知准则函数l最小平方误差准则l最小错分样本数准则lFisher线性判别准则l分段线性判别函数l二次判别函数第3章线性与非线性判别函数2第2章中介绍了在样本的先验概率和分别函数已知时的Bayes分类器的设计。本章主要直接根据训练样本提供的信息，直接设计分类器，进行特征空间的划分。3.1感知器准则函数3.1.1线性判别函数的基本概念在Rd中，向量X=(x1,x2,…,xd)T的线性判别函数为：g(X)=w1x1+w2x2+…+wdxd+wd+1=WT

2、X+wd+1其中：W=(w1,w2,…,wd)T为权向量若令W=(w1,w2,…,wd，wd+1)T为增广权向量X=(x1,x2,…,xd,1)T为增广模式向量则：g(X)=WTX第3章线性与非线性判别函数3在两类情况下，令g(X)=g1(X)-g2(X)判别规则为：线性分类器的设计就是确定权向量W的过程。方法为：l采集训练样本l确定可以反映分类性质的准则函数J＝J(X，W)l设计求解W的最优算法，求解W。l建立分类函数g(X)一旦得到W后，就可将模式正确分类。第3章线性与非线性判别函数43.1.2感知器概念及其训练算法1.感

3、知器概念感知器是F.Rosenblatt在1957年提出的具有单层计算能力的神经元模型。Y=f(wixi-)如wixi->0,那么y=1,否则，y=-1.其中：W=(w1,w2,…,wd)T,X=(x1,x2,…,xd)T。权值W是通过训练学习进行调整，实现线性可分函数。Rosenblatt已经证明：如果两类模式线性可分，那么算法一定收敛。第3章线性与非线性判别函数52.感知器算法设：训练样本X={x1,x2,…,xn}分别属于类ωi和ωj，并且xk的类别已知，则权向量W可通过下面算法确定：(1)初值：k=0,W任意，

4、c>0。(2)输入样本xk，计算判决函数g(xk)=WT(k)xk.(3)修正向量W(k)xkωi∧g(xk)0W(k＋1)＝W(k)＋cxkxkωj∧g(xk)<0W(k＋1)＝W(k)-cxk(4)若W对所以样本稳定转（5），否则转（2)(5)算法结束注意：c(0,1].如果将(3)中ωj类的xk乘－1，就可将修改权向量表示为(赏罚法)：g(xk)>0W(k＋1)＝W(k)g(xk)≤0W(k＋1)＝W(k)+cxk第3章线性与非线性判别函数6例：用感知器法求权向量W,其中样本ω1={p1,p2},ω2={

5、p3,p4},p1=(0,0)T,p2=(0,1)T,p3=(1,0)T,p4=(1,1,)T解：给样本乘－1，得到样本的增广向量：p1=(0,0,1)T,p2=(0,1,1)T,p3=(-1,0,-1)T,p4=(-1,-1,-1)T取C=1，W(1)=(0,0,0)Tl第1轮：WT(1)p1=(0,0,0)(0,0,1)T=0W(2)=W(1)+p1=(0,0,1)TWT(2)p2=(0,0,1)(0,1,1)T=1W(3)=W(2)WT(3)p3=(0,0,1)(-1,0,-1)T=-1W(4)=W(3)+p3=(-1,

6、0,0)TWT(4)p4=(-1,0,0)(-1,-1,-1)T=1W(5)=W(4)l第2轮：WT(5)p1=(-1,0,0)(0,0,1)T=0W(6)=W(5)+p1=(-1,0,1)TWT(6)p2=(-1,0,1)(0,1,1)T=1W(7)=W(6)WT(7)p3=(-1,0,1)(-1,0,-1)T=0W(8)=W(7)+p3=(-2,0,0)TWT(8)p4=(-2,0,0)(-1,-1,-1)T=2W(9)=W(8)第3章线性与非线性判别函数7l第3轮：WT(9)p1=(-2,0,0)(0,0,1)T=0W(

7、10)=W(9)+p1=(-2,0,1)TWT(10)p2=(-2,0,1)(0,1,1)T=1W(11)=W(10)WT(11)p3=(-2,0,1)(-1,0,-1)T=2W(12)=W(11)WT(12)p4=(-2,0,1)(-1,-1,-1)T=1W(13)=W(12)l第4轮：WT(13)p1=(-2,0,1)(0,0,1)T=1W(14)=W(13)WT(14)p2=(-2,0,1)(0,1,1)T=1W(15)=W(14)WT(15)p3=(-2,0,1)(-1,0,-1)T=1W(16)=W(15)WT(16

8、)p4=(-2,0,1)(-1,-1,-1)T=1W(17)=W(16)因第4轮结束时W已稳定。W=(-2,0,1)T，g(X)=WTX=(-2,0,1)(x1,x2,1)Tg(X)=0x1=1/2g(X)中的x1，x2为坐标第3章线性与非线性判别函数83.梯度法在数学上，