分类器设计-第五章

《分类器设计-第五章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章分类器设计本章主要内容分类器设计准则分类器设计基本方法判别函数训练与学习分类器设计准则分类问题是根据待识别对象所呈现的观察值，将其分到某个类别中去。具体步骤是：1.建立特征空间中的训练集，已知训练集里某个点所属类别。2.从这些条件出发寻求某种判别函数或判别准则，设计判别函数模型。3.根据训练集中的样品确定模型中的参数，得到完善的判别函数模型4.利用完善的判别函数或判别准则去判别每个未知类别的点应该属于哪类分类器设计准则在统计模式识别中，讨论的主要问题不是决策正误，而是决策正误的概率问题。模式识别所强调的“最佳”“最优”，这种最优是针对某一设计原则讲的，这种原则成为准

2、则。这种准则包括：最小错误率准则：以减少分类错误为原则最小风险准则：引入风险损失概念，赋予不同权值，使总的风险最小近邻准则：依据同类物体在空间中具有聚类特性的原理进行区分。Fisher准则：寻求最好的直线方向以及如何实现向最好方向投影的变换感知准则：感知准则函数使错分类样品到分界面距离之和最小为原则。分类器设计基本方法1.模板匹配法通常采用最近邻原则，最简单的一种分类方法，缺点是计算量大、存储量大。2.判别函数法（1）基于概率统计的分类法往往取决于前期统计分布的相关知识，最经典的BAYES分类器，利用先验概率和类条件概率密度函数，计算出后验概率，以此设计出判别函数与判决面

3、。（2）几何分类法不依赖于条件概率密度的知识，通过几何的方法把特征空间分解为对应于不同类别的子空间。模式识别的基本问题一.模式(样本)表示方法向量表示:假设一个样本有n个变量(特征)Ⅹ=(X1,X2,…,Xn)T2.矩阵表示:N个样本，每一个样本n个变量(特征)几何表示一维表示X1=1.5X2=3二维表示X1=(x1,x2)T=(1,2)TX2=(x1,x2)T=(2,1)T三维表示X1=(x1,x2,x3)T=(1,1,0)TX2=(x1,x2,x3)T=(1,0,1)T分类的过程判别函数假设对一模式X已抽取n个特征，表示为：模式识别问题就是根据模式X的n个特征来判别模

4、式属于ω1,ω2,…,ωm类中的那一类。例如下图：三类的分类问题，它们的边界线就是一个判别函数判别函数判别函数包含两类：一类是线性判别函数：线性判别函数广义线性判别函数（所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数）分段线性判别函数另一类是非线性判别函数判别函数线性判别函数我们现在对两类问题和多类问题分别进行讨论。(一)两类问题即:1.二维情况：取两个特征向量这种情况下判别函数:在两类别情况，判别函数g(x)具有以下性质：这是二维情况下判别由判别边界分类.情况如图：1.二维情况2.n维情况现抽取n个特征为：判别函数：另外一种表示方法：模式分类

5、：当g1(x)=WTX=0为判别边界。当n=2时，二维情况的判别边界为一直线。当n=3时，判别边界为一平面，n>3时，则判别边界为一超平面。2.n维情况模式分类(二)多类问题对于多类问题，模式有ω1,ω2,…,ωm个类别。可分三种情况：1.第一种情况：每一模式类与其它模式类间可用单个判别平面把一个类分开。这种情况，M类可有M个判别函数，且具有以下性质：下图所示，每一类别可用单个判别边界与其它类别相分开。如果一模式X属于ω1，则由图可清楚看出:这时g1(x)>0而g2(x)<0，g3(x)<0。ω1类与其它类之间的边界由g1(x)=0确定.1.第一种情况(续)：作图如下：1

6、.第一种情况(续)：这样有M(M_1)/2个判别平面。对于两类问题，M=2，则有一个判别平面。同理，三类问题则有三个判别平面。判别函数：判别边界：判别条件：2.第二种情况：每个模式类和其它模式类间可分别用判别平面分开。3.第三种情况判别函数：判别规则：判别边界：gi(x)=gj(x)或gi(x)-gj(x)=0就是说，要判别模式X属于那一类，先把X代入M个判别函数中，判别函数最大的那个类别就是X所属类别。类与类之间的边界可由gi(x)=gj(x)或gi(x)-gj(x)=0来确定。每类都有一个判别函数,存在M个判别函数线性判别函数的性质1、模式空间与加权空间模式空间：由构

7、成的n维欧氏空间。W是此空间的加权向量，它决定模式的分界面H，W与H正交。加权空间：以为变量构成的欧氏空间模式空间与加权空间的几何表示如下图：广义线性判别函数这样一个非线性判别函数通过映射，变换成线性判别函数。判别函数的一般形式：广义线性判别函数（续）广义线性判别函数（续）要用二次判别函数才可把二类分开：若设计分类器，一是选定所用的判别函数类型，二是确定方程的两个参数（权向量及阈值）。分类器设计任务是在给定的训练样本条件下，确定线性判别函数的各项系数，在进行未知样本分类中，能满足相应的准则函数为最优的要求。可总结为以下几步：1