模式识别课件第四章线性判别函数.ppt

《模式识别课件第四章线性判别函数.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章线性判别函数Bayesian分类器设计方法，已知类条件概率密度p(x

2、ωi)参数表达式先验概率P(ωi)利用样本估计p(x

3、ωi)的未知参数用贝叶斯规则将其转换成后验概率P(ωi

4、x)，并根据后验概率的大小进行分类决策。解决实际问题方法在实际中存在问题样本特征空间的类条件概率密度形式常常很难确定利用Parzen窗等非参数方法恢复分布往往需要大量样本，而且随着特征空间维数的增加所需样本数急剧增加。因此，在解决实际问题时，往往是利用样本集直接设计分类器，而不恢复类条件概率密度。即采用判别函数，

5、首先给定某个判别函数类，然后利用样本集确定出判别函数中的未知参数。线性判别函数线性判别函数法是一类较为简单的判别函数。是统计模式识别的基本方法之一。它首先假定判别函数g(x)是x的线性函数，即g(x)=wTx+w0，对于c类问题，可以定义c个判别函数，gi(x)=wiTx+wi0，i=1,2，…，c。用样本去估计各wi和wi0，并把未知样本x归到具有最大判别函数值的类别中去。关键是如何利用样本集求得wi和wi0。训练和学习“训练”和“学习”在待识别的模式中，挑选一批有代表性的样本，经过人工判读，

6、成为已知分类的样本，把这批样本逐个输入到计算机中的“训练”程序或算法中，通过一次次的迭代，最后得到正确的线性判别函数。这样的迭代过程称之为训练过程，所构成的分类器称为有人监督或有教师的分类器。4.1.1线性判别函数的基本概念在正态分布的Bayesian判别中，已经遇到过在两类情况下判别函数为线性的情况。假设有ω1和ω2两类模式，在二维模式特征空间可用一直线把这两类模式划分开，如图4.1所示。x1x2g(x)=w2x2+w1x1+w0图4.1两类模式的一个简单判别函数+－划分直线的方程参数坐标变量

7、4.1.1线性判别函数的基本概念判别规则若给定一个未知类别的模式x当g(x)>0时，则决策x属于ω1；当g(x)<0，则决策x属于ω2；若x处于划分边界上即g(x)=0，则x的类别不可确定，则可将x任意分到某一类或拒绝，g(x)=0为不可确定的条件。这一概念可以推广到有限维欧氏空间中的非线性边界的更一般情况。4.1.1线性判别函数的基本概念g(x)=wdxd+wd-1xd-1+…+w1x1+w0=wTx+w0(4-1)一般的线性判别函数形式为：特征向量(样本向量)权向量阈值权(常数)4.1.1线

8、性判别函数的基本概念简单线性分类器：4.1.1线性判别函数的基本概念对于两类问题的线性分类器决策规则：令g(x)=g1(x)－g2(x)如果g(x)＞0，则决策x∈ω1g(x)＜0，则决策x∈ω2(4-2)g(x)＝0，则可将x任意分到某一类或拒绝4.1.1线性判别函数的基本概念对于两类问题的线性分类器决策规则：方程g(x)=0定义了一个决策面，把归类于ω1类的点和归类于ω2的点分割开。假设x1和x2都在决策面H上，则有wTx1+w0=wTx2+w0(4-3)或wT(x1－x2)=0(4-4)表

9、明，w和超平面H上任一向量正交，即w是H的法向量。4.1.1线性判别函数的基本概念一般地，一个超平面H把特征空间分成两个半空间，即对ω1类的决策域R1和对ω2类的决策域R2。因为当x在R1中时，g(x)>0，所以决策面的法向量是指向R1的。因此，有时称R1中的任何x在H的正侧，相应地，称R2中的任何x在H的负侧。4.1.1线性判别函数的基本概念判别函数g(x)是特征空间中某点x到超平面距离的一种代数量度。若把x表示成式中xp：是x在H上的投影向量；r：是x到H的垂直距离；：是w方向上的单位向量。

10、4.1.1线性判别函数的基本概念若x为原点，则g(x)=w0(4-7)将(4-7)代入(4-6)，就得到从原点到超平面H的距离(4-6)判别函数g(x)是特征空间中某点x到超平面距离的一种代数量度。4.1.1线性判别函数的基本概念如果w0>0，则原点在H的正侧；若w0<0，则原点在H的负侧。若w0=0，则g(x)具有齐次形式wTx，说明超平面H通过原点。判别函数g(x)是特征空间中某点x到超平面距离的一种代数量度。4.1.1线性判别函数的基本概念图4.2对这些结果作了几何解释。4.1.1线性判别

11、函数的基本概念结论利用线性判别函数进行决策，就是用一个超平面把特征空间分割成两个决策区域。超平面的方向由权向量w确定，它的位置由阈值权w0确定。判别函数g(x)正比于x点到超平面的代数距离（带正负号）当x在H正侧时，g(x)＞0，在负侧时，g(x)＜0。4.1.1线性判别函数的基本概念4.1.2广义线性判别函数如图4.3所示的二类问题。设有一维样本空间X，所希望的划分是：如果xa，则x属于ω1类；如果b