模式识别(5)复习过程.ppt

《模式识别(5)复习过程.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别(5)§5.1引言由于样本在特征空间分布的复杂性，许多情况下采用线性判别函数不能取得满意的分类效果。－非线性判别函数例如右图所示两类物体在二维特征空间的分布，采用线性判别函数就无法取得满意的分类效果。在这种情况下，可以采用分段线性判别或二次函数判别等方法，效果就会好得多。§5.1引言一种特殊的非线性判别函数－分段线性判别函数决策面由若干超平面段组成，计算比较简单能逼近各种形状的超曲面，适应能力强ⅡⅢ§5.2基于距离的分段线性判别函数出发点：如果两类样本可以划分为线性可分的若干子类，则可以设计多个线性分类器，实现分段线性分类器。基本思想：用均值作为各类的代

2、表点，用通过均值连线中点的垂直线对样本集进行分类§5.2基于距离的分段线性判别函数§5.2基于距离的分段线性判别函数把ωi类可以分成li个子类，或者说，把属于ωi类的样本区域Ri分为li个子区域。现在定义mil表示第i类第l个子区域中样本的均值向量，并以此作为该子区域的代表点。定义判别函数如下：（在同类的子类中找最近的均值。）判别规则：这是在M类中找最近均值。则把x归于ωj类完成分类。分段线性距离分类器§5.2基于距离的分段线性判别函数例：未知x,如图：先与ω1类各子类的均值比较，即，找一个最近的与ω2各子类均值比较取最近的因g2(x)

3、类。§5.2基于距离的分段线性判别函数利用均值代表一类有时有局限性，如下图所示。若用线性判别函数代表一类，就会克服上述情况。§5.2基于距离的分段线性判别函数定义ωi类的线性判别函数为：在各子类中找最大的判别函数作为此类的代表，则对于M类，可定义M个判别函数gi(x),i=1,2,…..M,因此，决策规则为：设ω＝ω1,ω2,……ωm。而每一类又可以分为子类。对每个子类定义一个线性判别函数：§5.2基于距离的分段线性判别函数对未知模式x，把x先代入每类的各子类的判别函数中；找出一个最大的子类判别函数，M类有M个最大子类判别函数；在M个子类最大判别函数中，再找一个

4、最大的；则x就属于最大的子类判别函数所属的那一类。§5.3分段线性分类器的设计§5.3分段线性分类器的设计§5.3分段线性分类器的设计§5.4用交遇区的样本设计线性分类器出发点：与前述方法不同，其出发点是类间的分界面必然处在两类样本的交界处，因此只需找出这些交界处的样本，然后对这些邻近的不同类样本，按需要确定分界面即可。实际上决策面都处在不同类别样本分布的交界处或邻接处所在的区域内，譬如右图中两类物体在特征空间分布中有若干处很接近或甚至有交迭。§5.4用交遇区的样本设计线性分类器用这些区域中的样本来决定判别函数，就可以代替用整个样本集进行训练。基于这种思想的样本

5、训练法称为“局部训练法”。参加训练的局部样本集由两类样本组成。这些区域称之为“交遇区”。局部训练法就是基于交遇区内的样本进行设计的。§5.4用交遇区的样本设计线性分类器这种方法要解决的几个问题是：如何从样本集中找到“交遇区”；(2)如何利用“交遇区”中的样本设计线性分类器；(3)如何进行分类决策。紧互对原型与交遇区本节主要提出寻找“交遇区”的一种方法。首先在每类样本集内进行聚类，将每类样本分为若干聚类。常用的方法是聚类分析方法。为了简便计算，每个聚类可用它的原型来表示，每一类则由若干个原型来表示。通过计算每个原型与其它原型的欧氏距离来计算近邻关系。每个聚类在特征

6、空间中占据一定区域，称为“原型区”。每个聚类的重心，或最靠近重心的一个样本，称为该聚类的“原型”。§5.4用交遇区的样本设计线性分类器§5.4用交遇区的样本设计线性分类器寻找下图的紧互对原型对？§5.4用交遇区的样本设计线性分类器寻找两类紧互对原型对集合的主要步骤：首先对这两类样本进行聚类分析，找出它们各自的一些相对密集的子区域，即“原型区”在每个原型区中找到一个质心或距质心很近的样本作为各原型区的代表点，即“原型”。在两个类别的原型集合中，分别计算不同类原型对之间的欧氏距离，并找出各原型在对方类型中相距最近的原型对。从这些最小距离原型关系中找到互为最小距离的原

7、型对，即为“紧互对原型对”。（用“紧互对原型对”表示交遇区）局部训练法基本思想：边界是由若干个交遇区确定的，在每个交遇区中只有两种不同类型的样本。将这些“交遇区”中的两类样本作为新的样本集，由这些样本产生一个合适的分界面，一般使用分段线性分界面。具体做法往往是利用处于最紧贴边界的紧互对原型对产生一初始分界面，然后利用交遇区进行调整，这种调整属于局部性的调整。局部训练法具体步骤：步骤一：产生初始决策面首先由紧互对原型对集合中最近的一对，产生一个初始决策面的方程。例如可由这两个原型的垂直平分平面作为初始分界面，表示成H1；步骤二：初始决策面最佳化确定超平面H1能正确

8、分类的所有紧互对原型对，