模式识别原理.ppt

《模式识别原理.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章判别函数第三章判别函数3.1线性判别函数3.2广义线性判别函数3.3分段线性判别函数3.4模式空间和权空间3.5感知器算法3.6采用感知器算法的多类模式的分类3.7势函数法—一种确定性的非线性分类算法3.1线性判别函数3.1.1用判别函数分类的概念模式识别系统的主要作用判别各个模式所属的类别对一个两类问题的判别，就是将模式x划分成ω1和ω2两类。3.1线性判别函数3.1.1用判别函数分类的概念[描述：两类问题的判别函数]3.1线性判别函数3.1.1用判别函数分类的概念用判别函数进行模式分类依赖的两个因素（1）判别函数的几何性质：线性的和非线性的函数。线性

2、的是一条直线；非线性的可以是曲线、折线等；线性判别函数建立起来比较简单（实际应用较多）；非线性判别函数建立起来比较复杂。（2）判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。只要被研究的模式是可分的，就能用给定的模式样本集来确定判别函数的系数。3.1线性判别函数3.1.2线性判别函数[n维线性判别函数的一般形式]权向量增广模式向量增广权向量分类问题[两类情况：判别函数d(x)]多类情况：设模式可分成ω1,ω2,…,ωM共M类，则有三种划分方法多类情况1多类情况2多类情况33.1线性判别函数3.1.2线性判别函数分类问题[多类情况1][判别

3、函数][图例][例子]3.1线性判别函数3.1.2线性判别函数分类问题[多类情况2][判别函数][图例][例子]3.1线性判别函数3.1.2线性判别函数分类问题[多类情况3][判别函数][图例][例子]3.1线性判别函数3.1.2线性判别函数线性可分模式分类如可用任一个线性函数来划分，则这些模式就称为线性可分的，否则就是非线性可分的。一旦线性函数的系数wk被确定，这些函数就可用作模式分类的基础。3.1线性判别函数3.1.2线性判别函数多类情况1和多类情况2的比较对于M类模式的分类，多类情况1需要M个判别函数，而多类情况2需要M*(M-1)/2个判别函数，当M较

4、大时，后者需要更多的判别式（这是多类情况2的一个缺点）。采用多类情况1时，每一个判别函数都要把一种类别的模式与其余M-1种类别的模式分开，而不是将一种类别的模式仅于另一种类别的模式分开。由于一种模式的分布要比M-1种模式的分布更为聚集，因此多类情况2对模式是线性可分的可能性比多类情况1更大一些（这是多类情况2的一个优点）。作业（1）在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？作业（2）一个三类问题，其判别函数如下：d1(x)=-x1,d2(x)=x1+x2-1,d3(x)=x1

5、-x2-1设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。设为多类情况2，并使：d12(x)=d1(x),d13(x)=d2(x),d23(x)=d3(x)。绘出其判别界面和多类情况2的区域。设d1(x),d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。3.2广义线性判别函数出发点线性判别函数简单，容易实现；非线性判别函数复杂，不容易实现；若能将非线性判别函数转换为线性判别函数，则有利于模式分类的实现。3.2广义线性判别函数基本思想设有一个训练用的模式集{x}，在模式空间x中线性不可分，但在模式空间x

6、*中线性可分，其中x*的各个分量是x的单值实函数，x*的维数k高于x的维数n，即若取x*=(f1(x),f2(x),….,fk(x)),k>n则分类界面在x*中是线性的，在x中是非线性的，此时只要将模式x进行非线性变换，使之变换后得到维数更高的模式x*，就可以用线性判别函数来进行分类。[描述]3.2广义线性判别函数广义线性判别函数的意义[线性的判别函数][fi(x)选用二次多项式函数][x是二维的情况][x是n维的情况][fi(x)选用r次多项式函数，x是n维的情况][例子][d(x)的总项数]说明d(x)的项数随r和n的增加会迅速增大，即使原来模式x的维数不

7、高，若采用次数r较高的多项式来变换，也会使变换后的模式x*的维数很高，给分类带来很大困难。实际情况可只取r=2，或只选多项式的一部分，例如r=2时只取二次项，略去一次项，以减少x*的维数。3.2广义线性判别函数[例子：一维样本空间-〉二维样本空间]3.3分段线性判别函数出发点线性判别函数在进行分类决策时是最简单有效的，但在实际应用中，常常会出现不能用线性判别函数直接进行分类的情况。采用广义线性判别函数的概念，可以通过增加维数来得到线性判别，但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难，增加计算的复杂性。引入分段线性判别函数的判别

8、过程，它比一般的线性判别函数的错误率小