《模式识别导论》PPT课件

《《模式识别导论》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章分类器的设计线性分类器的设计分段线性分类器的设计非线性分类器的设计7/17/20211§3-1线性分类器的设计上一章我们论讨了线性判别函数形式为:g(x)=WTX+Wn+1其中X=(X1,X2…Xn)n维特征向量W=(W1,W2…Wn)n维权向量通常通过特征抽取可以获得n维特征向量，因此n维权向量是要求解的。求解权向量的过程就是分类器的训练过程，使用已知类别的有限的学习样本来获得分类器的权向量被称为有监督的分类。7/17/20212利用已知类别学习样本来获得权向量的训练过程如下已知x1∈ω1,通过检测调整权向量，最终使x1∈ω1已知x2∈ω2,通过检测调整权

2、向量，最终使x2∈ω2这样就可以通过有限的样本去决定权向量x1x2…….xn1w1w2wnwn+1∑>0x∈ω1检测(已知类别)W1X1W2X2WnXnWn+1<0x∈ω2g(x)=wTx7/17/20213利用方程组来求解权向量对二类判别函数g(x)=W1X1+W2X2+W3已知训练集：Xa,Xb,Xc,Xd且当(Xa,Xb)∈时g(x)＞0当(Xc,Xd)∈时g(x)＜0设Xa=(X1a,X2a)TXb=(X1b,X2b)TXc=(X1c,X2c)TXd=(X1d,X2d)T判别函数可联立成：X1aW1+X2aW2+W3＞0①X1bW1+X2bW2+W3＞0②

3、X1cW1+X2cW2+W3＜0③X1dW1+X2dW2+W3＜0④求出W1,W2,W37/17/20214将③④式正规化，得-X1cW1-X2cW2-W3>0-X1dW1-X2dW2-W3>0所以g(x)=WTX>0其中W=(W1,W2,W3)T为各模式增1矩阵为N*(n+1）矩阵N为样本数，n为特征数7/17/20215训练过程就是对已知类别的样本集求解权向量w，这是一个线性联立不等式方程组求解的过程。求解时：①只有对线性可分的问题，g(x)=WTX才有解②联立方程的解是非单值，在不同条件下，有不同的解，所以就产生了求最优解的问题③求解W的过程就是训练的过程。

4、训练方法的共同点是，先给出准则函数，再寻找使准则函数趋于极值的优化算法，不同的算法有不同的准则函数。算法可以分为迭代法和非迭代法。7/17/20216一．梯度下降法—迭代法欲对不等式方程组WTX>0求解，首先定义准则函数目标函数)J(W)，再求J(W)的极值使W优化。因此求解权向量的问题就转化为对一标量函数求极值的问题。解决此类问题的方法是梯度下降法。方法就是从起始值W1开始，算出W1处目标函数的梯度矢量▽J(W1)，则下一步的w值为：W2=W1-ρ1▽J(W1)W1为起始权向量ρ1为迭代步长J(W1)为目标函数▽J(W1)为W1处的目标函数的梯度矢量7/17/2

5、0217在第K步的时候Wk+1=Wk-ρk▽J(Wk)ρk为正比例因子这就是梯度下降法的迭代公式。这样一步步迭代就可以收敛于解矢量，ρk取值很重要。ρk太大，迭代太快，引起振荡，甚至发散。ρk太小，迭代太慢。应该选最佳ρk。7/17/20218选最佳ρk目标函数J(W)二阶台劳级数展开式为J(W)≈J(Wk)+▽JT(W-Wk)+(W-Wk)TD(W-Wk)T/2①其中D为当W=Wk时J(W)的二阶偏导数矩阵将W=Wk+1=Wk-ρk▽J(Wk)代入①式得：J(Wk+1)≈J(Wk)-ρk

6、

7、▽J

8、

9、2+ρk2▽JTD▽J其中▽J=▽J(Wk)对ρk求导数，并令导

10、数为零有最佳步长为ρk=

11、

12、▽J

13、

14、2/▽JTD▽J这就是最佳ρk的计算公式，但因二阶偏导数矩阵D的计算量太大，因此此公式很少用。7/17/20219若令W=Wk+1上式为J(Wk+1)=J(Wk)+▽JT(Wk+1-Wk)+(Wk+1-Wk)TD(Wk+1-Wk)T/2对Wk+1求导，并令导数为零可得：最佳迭代公式：Wk+1=Wk-D-1▽J—牛顿法的迭代公式D-1是D的逆阵讨论：牛顿法比梯度法收敛的更快，但是D的计算量大并且要计算D-1。当D为奇异时，无法用牛顿法。7/17/202110二感知器法感知器的原理结构为：7/17/202111通过对W的调整，可实现

15、判别函数g(x)=WTX>RT其中RT为响应阈值定义感知准则函数：只考虑错分样本定义：其中x0为错分样本当分类发生错误时就有WTX<0，或－WTX>0,所以J(W)总是正值，错误分类愈少，J(W)就愈小。理想情况为即求最小值的问题。7/17/202112求最小值对W求梯度代入迭代公式中Wk+1=Wk-ρk▽J由J(W)经第K+1次迭代的时候，J(W)趋于0，收敛于所求的W值7/17/202113W的训练过程：例如:x1,x2,x3∈ω1作x1,x3的垂直线可得解区(如图)假设起始权向量w1=0ρk=1１．x1,x2,x3三个矢量相加得矢量2,垂直于矢量2的超平面H

16、将x3错分