第2章 线性判别函数.ppt

《第2章 线性判别函数.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、线性判别函数和决策面感知准则函数和梯度下降法固定增量法及其收敛性最小平方误差准则函数多类情况下的线性判别函数分段线性判别函数Fisher线性判别函数支持向量机第二章线性判别函数2.1线性判别函数和决策面模式的表示在分类识别方法中，首先应该把代表事物的那些特征抽取出来，构成代表这个模式的特征向量。现在假定已经抽取到模式的若干特征：如果这个特征能够较好地描述原始的待识别的事物，则可以用维空间的一个列向量来代表：1.问题与解决思路问题：设有由N个待分类的两类别模式组成的一个样本集，如何实现对样本集中的两类样本分类？在一般情况下样本在特征空间的分布情况：（二维两类别模式

2、的例子）二维三类别模式的例子可以看出:不同类别的典型样本在特征空间中明显处于不同的区域。表明:由于相同类别的模式具有相似或相近的特征，因而一类模式在特征空间中的某一区域分布，而另一类则在另外区域分布。我们可以得到启发:用已知类别的模式样本产生一个代数表示的分界面，将特征空间分成两个互不重叠的区域，使不同类别的模式样本位于不同的区域，再用作为判别函数，对待识别的模式进行分类。在特征空间可看作一个决策面。归纳解决问题的思路:(1)分类问题特征空间的分布寻找子区域的分界面确定判别函数(2)待识别模式判别函数分类解决方法？代入判别判别函数可以有多种形式，哪种形式最简单呢

3、？线性函数在二维空间是一条直线；在三维空间是一个平面；在高维空间也是一个平面，由于是非直观的，称为超平面。线性判别函数是所有模式特征的线性组合。或式中是特征的系数，称为权，称为阈值权。用什么方法来确定呢？2.线性判别函数的确定方法设有已知类别的两类别样本集，分布如下：线性判别函数可以写成：参数决定了的方向和位置如何根据已知样本确定？由于要用对两类样本在特征空间正确划分两类模式的区域，我们可以假定一个规则：当样本为一个类别时，使当样本为另一个类别时，使对全部样本都按这个规则来做，不满足时，调整，最终可以找到一个，使全部样本都满足这个规则。这个过程称为训练学习，已知

4、类别的样本称为训练样本。用训练学习的方法确定线性判别函数。如何训练学习？3.线性判别函数的一般表示对于n维模式向量，其线性判别函数是所有模式特征的线性组合，即可以写成其中，称为权向量。4.在向量空间的几何表示取作为决策面。如果两个向量和都在决策面上，则有：或写成由于和是决策面上的任意两点，所以也是在决策面上的任意向量。表明了什么？两个n维向量相互正交的充要条件是两向量的内积为零。即所以,表明:权向量和决策面上的任一向量正交。所以权向量的方向就是决策面的法线方向。在两维模式下，决策面把模式空间分成两个子空间，分别是对类的决策域和对类的决策域。如果我们规定：在中，；

5、在中，，决策面的法向量的方向指向。我们可以把向量表示为：待求的距离决策面上一点与有什么样的关系?则有：或判别函数值是到决策面的距离的度量。同理，可以得出：从原点到决策面的距离为。如果，原点在的正面；如果，原点在的反面；如果，判别函数有齐次形式决策面通过原点。二类模式的线性分类器的决策法则是：如果则决策，即把归到类；如果则决策，即把归到类；对于线性判别函数，关键的问题是求如何求？2.2感知准则函数和梯度下降法1.感知准则函数由前面介绍的知识，我们知道，对于一组两类别样本集：我们可以设线性判别函数为：决策面方程为：即求得权向量，就可确定决策面方程。由数学知识，知的齐

6、次形式比较容易。能否将变换成齐次形式呢？令，则，n维X空间（n+1）维Y空间Y称为增广模式向量，A称为增广权向量经过这样的变换，求解的问题就变为：设有一组两类模式的增广模式向量样本集，利用这些样本确定一个线性判别函数的权向量，使能够对正确分类。训练规则为：对于属于类的所有样本，有:对于属于类的所有样本，有:注意到和能否使？在属于类的样本前加上负号，则这样处理后，问题变为：求使对于所有训练样本都满足：，的权向量如何求？是一个线性不等式组，而是维的，样本数量为，一般比大的多，这样，的解不唯一。为了解线性不等式组，需要构造一个准则函数，并希望构造的准则函数有极值的形式

7、。是由于使用权向量而被误分类的样本集合。当一个样本被误分类时，就有,所以。仅当时，达到最小值。我们称为感知准则函数。有了准则函数之后，我们就可以用最优化方法寻找使准则函数达到极小值的解权向量。如何求？2.梯度下降法梯度的定义梯度是函数的一阶偏导数组成的向量,记为二元函数的等值线定义:坐标面上函数相等的各点的连线叫等值线,也称等高线。函数为不同值时，得到一系列的等值线，构成的等值线族。在极值处的等值线聚成一点，并位于等值线的中心，当该中心为极小值时，离开它越远，值越大，反之，若该中心为极大值时，离开它越远，的值越小。梯度方向由梯度的定义知，梯度的方向就是函数的法线

8、的方向。梯度方向的性质: