《ch线性判别函数》PPT课件

《《ch线性判别函数》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章线性判别函数4.1引言4.2Fisher线性判别函数4.3感知器准则函数4.4最小平方(MSE)误差准则4.5最小错分样本数准则4.6线性支持向量机4.1引言Bayes决策规则尽管是最优的，但是实现困难。原因就是要求已知类条件概率密度和先验概率。模式识别的最终任务是分类，可以直接设计分类函数——分类器函数。最简单的分类函数是分类超平面。(2-维的情形，为一条直线，3-维的情形为一个平面，高维的情形即为超平面)4.1.1线性判别函数的基本概念线性判别函数的一般形式为：(4.1)其中是一个d维特征向量(模式向量),b是一个常数，称为阈值。注

2、意：上式中所涉及到的运算包括：线性判别规则如果，设当则，判决x属于第一类，即当则，判决x属于第二类，即当则，判决x属于任一类，或拒绝对于2-类分类问题，设关于线性判别函数的说明（1）方程定义了空间中的一个超平面，一般将其称为分类决策超平面。其中向量w是该超平面的法向量。这是由于在该超平面上任取两点，则有因此，有上式说明：向量w超平面是正交的。关于线性判别函数的说明（2）w关于线性判别函数的说明（3）关于线性判别函数的说明（4）可以把表示为如下的形式：因此，当为坐标原点时，若，则原点在超平面的正侧，若原点在超平面的负侧。广义的线性判别函数问题：

3、若给定一个一维的模式空间，希望的划分是或，则；若，则解决的方法解决的办法通过对上图的分析，可以建立下面的一个二次判别函数：决策规则为：判别函数的规范化上述的二次判别函数写成如下的一般形式，便有选择(构造)一个适当的变换，便可以把二次判别函数变换为一次的：其中经过变换后，得到一个形式上类似于线性函数的判别函数。这种方法称为广义的线性判别函数。线性分类器的设计步骤设计线性分类器，就是利用训练集建立线性判别函数式d(x)=wTx+b，或是广义线性判别函数式。函数式中只含有两个未知的量，即权向量和惩罚项常数（阈值）。所以说线性分类器的设计过程，实质上

4、就是寻找最优的权向量以及阈值常数。其步骤如下：设计步骤：已知一组具有类别标记的样本集，训练集；根据实际问题确定一个准则函数，使得该函数的值能够反映分类器的性能；利用最优化技术，求出准则函数中最优的和；它们所对应的极值解即为最优的分类决策。4.2Fisher线性判别方法在传统的模式识别方法中，降维技术是被广泛研究的，这也是一个非常有效的方法，至今一直被研究者所重视。传统的降维方法包括：Fisher线性判别方法，SOM方法等。但是，在利用降维方法处理模式识别问题时，经常遇到一些无法克服的问题，例如，……。Fisher线性判别方法的基本思想Fish

5、er线性分类器的工作原理设训练集为，对于2-类分类问题，其中属于类的模式记为子集，它含有个样本，属于类的模式记为，它含有个样本。令这样便得到了N个一维样本，并且分别属于两个集合。几个基本参量（1）d-维空间中各类样本均值向量：样本类内离散度矩阵和总的类内离散度矩阵为：样本类间离散度矩阵几个基本参量（2）一维Y空间各类样本均值：样本类内离散度矩阵和总离散度矩阵；；Fisher准则函数希望投影变换之后，在一维Y空间内，各类样本尽可能的分得开，即两类均值之差越大越好；同时各类样本内部尽量密集，即类内离散度越小越好。定义函数：（4.23）要使得该函数

6、值尽可能的大，就是说使得其分母尽可能的小，同时使得其分子尽可能的大。分析(4.23)由于故(4.23)之分子便成为：分析(4.23)(4.23)之分母：因此，分析(4.23)将上述结果代入(4.23),可以得到：(4.27)下面求使得上式取得极大值时的条件.利用Lagrange乘子法求解。令其分母为一常数c，即求极值引入Lagrange函数如下：(4.28)上式中的为Lagrange乘子。将上式对w求偏导，并令其为零，得求极值是的极值解。由于是一个非奇异矩阵，所以有：而进一步的，有故，而我们所要求的是w的方向，故实际上，这是一个由d维空间到一

7、维空间的一个映射。Fisher线性判别规则上面的工作：把d维空间中的向量映射到一维空间；因此d维空间中的分类问题便转化为一维空间中的分类问题。现在的问题是求出一个适当的阈值b。实际上，只要确定一个(将其视为阈值)，将投影点与进行比较，即可做出决策。Fisher线性判别规则(1)当维数d以及样本数N都很大时，可采用Bayes分类决策规则。(2)可以利用先验知识，选择阈值点，例如：Fisher线性判别规则对于任意给定的未知样本，首先计算，然后计算其投影点：决策规则为：时，有时，有Fisher线性判别函数的推广问题：如何将2-类分类的情形推广至多类

8、分类情形？4.3基于距离的分类决策－近邻法简介最近邻决策规则最近邻的改进之一k-近邻近邻法基本思想：对于未知样本（输入模式、数据），比较该样本与所有已知样本之间的距