非参数判别分类方法

《非参数判别分类方法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、3.3感知准则函数感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。用感知准则函数设计线性分类器是一种十分重要的方法。7/24/20211中国矿业大学计算机科学与技术学院2.样本的规范化决策面方程：令结论：规范化后合适的a能使所有的Y'满足aTY'>0。3.3.1几个基本概念1.线性可分性如果对一个样本集N，总能找到一个增广权向量a，对该样本集所有样本

2、实现正确分类，则这种情况称为具有线性可分性。7/24/20212中国矿业大学计算机科学与技术学院3.解向量和解区解向量：在线性可分的前提下，满足aTYn>0，n=1,2,…,N的权向量称为解向量。解区：N个样本所对应的解向量a所在区域之交迭空间。在解区内的任一向量a能使所有样本得到正确划分。7/24/20213中国矿业大学计算机科学与技术学院感知准则函数方法的思路随意找一个初始广义权向量理论证明，只要训练样本集线性可分，无论a(0)的初值是什么，经过有限次叠代，都可使式aTY>0得到满足。当前的广义权向量a(k)，若出现Y’，使

3、aTY<0，则其中pk>03.3.2感知准则函数及其梯度下降算法7/24/20214中国矿业大学计算机科学与技术学院梯度下降算法定义一个准则函数J(a)，当a是解向量时，J(a)最小。随机确定初始解向量a(1)，计算其对准则函数的梯度下降，下一个a(2)由自a(1)向下降最陡的方向移动一段距离而得到，即沿梯度的负方向移动。其中，是正的比例因子，即用于设定步长的学习率。7/24/20215中国矿业大学计算机科学与技术学院用梯度下降算法求感知准则函数极小值感知准则函数Jp(a)其中，Yk是被权向量a错分类的样本集合。感知准则函数Jp

4、(a)对a求梯度：可以证明，对于线性可分的样本集，经过有限次修正，一定可以找到一个解向量a，即算法能在有限步内收敛。其收敛速度的快慢取决于初始权向量a(1)和系数。7/24/20216中国矿业大学计算机科学与技术学院例：三个样本的分类问题解向量的修正过程7/24/20217中国矿业大学计算机科学与技术学院小结这种利用错误提供的信息，进行自修正的思想意义是十分深远的。这种只解决线性分类的感知器称为单层感知器，由它基础上发展起来的多层感知器在原理上能解决非线性分类、多类划分，以及非线性拟和非线性映射等多种功能，这些将在人工神经元网络

5、这一章中进一步讨论。7/24/20218中国矿业大学计算机科学与技术学院3.4多类问题在两类别问题中使用的线性判别函数方法可以推广到多类别问题中。（1）将C类别问题化为(C-1)个两类问题，即将第i类与所有非i类样本，按两类问题确定其判别函数与决策面方程。因此对于C类，则总共有(C-1)个两类别问题。（2）将C类中的每两类别单独设计其线性判别函数，因此总共有C(C-1)/2个线性判别函数。7/24/20219中国矿业大学计算机科学与技术学院判别边界示意图存在的问题：出现一些不定区域用线性判别函数对i类及所有非i类进行划分并不能保

6、证获得性能良好的划分，硬性使用线性分类器可能会产生很不好的效果。7/24/202110中国矿业大学计算机科学与技术学院线性机器将特征空间确实划分为C个决策域，共有C个判别函数。每个决策域Ri按以下规则划分：如果则线性机器中决策域的边界由相邻决策域的判别函数共同决定。7/24/202111中国矿业大学计算机科学与技术学院线性机器多类线性机器7/24/202112中国矿业大学计算机科学与技术学院3.5非线性判别函数由于样本在特征空间分布的复杂性，许多情况下采用线性判别函数不能取得满意的分类效果。传统的模式识别技术，则侧重于使用分段线

7、性判别函数。人工神经元网络如多层感知器等网络能够适用非常复杂的非线性分类，以及非线性函数拟和，非线性映射等，这将在人工神经元网络这一章讨论。支持向量机则提出了一种基于特征映射的方法，也就是使用某种映射，使本来在原特征空间必须使用非线性分类技术才能解决的问题,映射到一个新的空间以后,使线性分类技术能继续使用。7/24/202113中国矿业大学计算机科学与技术学院3.5.1分段线性判别函数线性判别函数分段线性判别函数二次判别函数图5.1分段线性判别函数示意图7/24/202114中国矿业大学计算机科学与技术学院分段线性判别函数分段线

8、性判别函数设计中首先要解决的问题是分段线性判别函数的分段段数问题。主要讨论在样本分布及子类划分大体已定的情况下，设计分段线性判别函数的问题，着重讨论几种典型的设计原理。7/24/202115中国矿业大学计算机科学与技术学院分段线性判别函数的一般形式可定义为：其中