《非线性判别函数》PPT课件

《《非线性判别函数》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、4.7非线性判别函数前面讨论的用线性判别函数设计分类器，在多类情况下可以用树分类器进行多级分类。若在树分类器的各节点上采用线性判别规则，就构成了一个分段线性分类器。当两类样本分布具有多峰性质并互相交错时，简单的线性判别函数往往会带来较大的分类错误。采用分段线性分类器，常常能有效地应用于这种情况。4.7.1分段线性判别函数的基本概念分段线性判别函数是一种特殊的非线性判别函数。它确定的决策面是由若干超平面段组成的。由于它的基本组成仍然是超平面，因此，与一般超曲面(例如贝叶斯决策面)相比，仍然是简单的；又由于它是由多段超平面组成的，所以它能逼近各种形状的超曲面，具有很强的适

2、应能力。图4.7.1中分别给出了采用线性判别函数，分段线性判别函数和二次判别函数所得到的分界面。ω1ω1ω2ⅠⅡⅢⅠ：线性判别Ⅱ：分段线性判别Ⅲ：二次判别图4.7.1当类条件概率密度函数为正态分布，各特征统计独立且同方差时，贝叶斯决策规则可得到线性判别函数，特别是当P(ω1)=P(ω2)时，决策规则可以写成这时的决策面是两类期望连线的垂直平分面，如图4.7.2所示。这样的分类器叫做最小距离分类。μ1μ2x1x2xg(x)=00图4.7.2这一判别函数虽然是在十分特殊的条件下推出来的，但它却给了我们一个相当重要的启示，这就是可以把均值作为各类的代表点，用距离作为判别函数

3、进行分类。ω11ω12ω21ω22ω32Ⅰ：线性距离判别m1m2Ⅰ现在考虑图4.7.3所示的两类分布情况。ω1类和ω2类都是多峰分布。如果利用上面方法，把各类均值仍作为代表点，设计最小距离分类器，则得到分界面Ⅰ。缺点是错误率较大。Ⅱ：分段线性距离判别图4.7.3ω11ω12ω21ω22ω32Ⅱ如果每类不是只取一个代表点，而是取多个代表点，例如，ω1类取两个代表点，ω2类取三个代表点，仍利用上面定义的距离判别函数，它是由多段超平面组成的，其中每一段都是最小距离分类器。这样的结果是令人满意的。把未知样本x归到离它最近的代表点所属的类别，则可得到如图中折线(即分界面Ⅱ所示的

4、分段线性分界面，一般地，如果对于ωi类取li个代表点，或者说，把属于ωi类的样本区域Ri分为li个子区域，即，其中表示第i类的第l个子区域，用表示该子区域中样本的均值向量，并以此作为该子区域的代表点，这样可以定义如下判别函数这样的分类器叫做分段线性距离分类器。若有则把x归到ωj类。4.7.2分段线性判别函数把上述基于距离的分段线性判别函数概念加以推广。在前面，把每一类都分为若干子区域，并选择各子区域的均值向量作为代表点以设计最小距离分类器。但这种方法只在某些特殊情况下才能得到较好的分类结果，在很多情况下往往不适用。例如图4.4所示的样本分布情况。图中各类样本服从正态但

5、非等协方差分布，其等概率密度面为超椭球面，用虚线表示。利用贝叶斯决策规则对样本x进行分类，应决策x∈ω2类；但若以μi作为代表点，按到μi的欧氏距离进行分类，则应决策x∈ω1类。这与贝叶斯决策相矛盾。μ1μ2x1x20x图4.7.4只考虑作为各类或各子区域代表点所提供的信息是很不够的。如何利用整个样本集所提供的全部信息是需要考虑的问题。把每一类分为若干个子类，即令不是选择各子类的均值作为代表点设计最小距离分类器，而是对于每个子类定义一个线性判别函数则对于c类问题可定义c个判别函数gi(x)，i=1，2，…，c，并得到决策规则：l=1，2，…，li，i=1，2，…，c式

6、中和分别为子类的权向量和阈值权。如果定义ωi的线性判别函数为则决策x∈ωj对于任意样本x，必有某个子类的判别函数值较其它的判别函数值为最大。得到的决策面也是分段线性的，其决策面方程是由各子类的判别函数确定的，如果第i类的第n个子类和第j类的第m个子类相邻，则该决策面方程是关键问题是如何利用样本集确定子类数目以及如何求各子类的权向量和阈值权。假如具有最大值的判别函数是，则把x归到子类所属的类，即类。4.7.3分段线性分类器设计的一般考虑分类器设计的基本问题是，在一定判别函数类内利用训练样本集确定分类器的参数，即确定判别函数中的系数。设计线性分类器，就是确定权向量w和阈值

7、权w0或广义权向量a。而设计分段线性分类器，则是利用样本集确定一组和。㈠利用多类线性判别函数算法设计分段线性分类器若已知样本的子类划分情况，可把子类看作独立的类，然后利用多类线性判别函数算法把各个子类分开，自然也就把各类分开了。这种方法必须以已知子类划分为前提。划分子类的一种方法是根据先验知识直观判定，如字符识别中，可把同一字符看作一类，而把其中不同的字体看作它的不同子类。另一种方法则借助于聚类分析方法来解决。㈡已知子类数目时的分段线性判别函数当已知子类数目，但不知子类划分情况时，可利用下面的错误修正算法设计分段线性分类器，它与多类线性判别函数的固定