4 线性判别函数

《4 线性判别函数》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第4章线性判别函数4.1引言4.2Fisher线性判别4.3感知准则函数4.4最小错分样本数准则4.5最小平方误差准则函数4.6多类问题4.7分段线性判别函数4.1引言本章内容的目的意义贝叶斯决策方法的一般步骤概率密度函数估计的实际困难利用样本直接设计分类器线性判别函数的一般做法简单的函数形式，参数待定根据设计要求提出准则函数，优化求解线性判别函数的分类性能“次优”简单易实现，计算量及存储量小4.1.1线性判别函数的基本概念线性判别函数的一般形式样本向量、权向量、阈值权对两类问题，由多类问题的一般表达令判别函数正负决定类别归属构

2、建分类器构建两类分类器两类别决策面决策面方程对应线性判别函数，决策面是超平面决策面上任意两点，有w与超平面H正交，为其法向量决策面正侧、负侧相应的几何表示g(x)可看作点到超平面距离的一种代数度量点到超平面距离原点到超平面距离w0的正负决定超平面相对原点的位置图形表示小结超平面的确定权向量决定方向阈值权确定位置判别函数正比于点到超平面的代数距离（带正负）超平面正负侧对应不同类别4.1.2广义线性判别函数考虑如下分类问题能否用线性分类器解决该划分问题？线性分类不适应非凸决策区域和多联通区域的划分考虑二次函数，正负对应两类决策问题是

3、对x轴的划分判别函数正负对应不同类别，非指抛物线内外广义线性表示改变表示形式称为广义线性判别函数可推广至任意高次，变为Y空间的线性分类维数太高不便于处理，“维数灾难”增广线性表示其中分别称为增广样本向量和增广权向量在d+1维空间，通过原点的超平面决策面4.1.3设计线性分类器的步骤利用训练样本建立线性或广义线性判别函数准则函数最优求解权向量和阈值权主要步骤有三已知类别标志的样本集确定能够反映分类要求的准则函数，为未知参数的函数优化求解问题4.2Fisher线性判别统计模式识别方法中，维数或特征数是一个很大的问题，降低维数有时就成

4、为处理实际问题的关键Fisher的基本思想是把d维空间的样本投影到一条直线上，把维数压缩到1如何寻找最佳投影方向是需要解决的基本问题实现d维特征向量到1维标量的形式转化向量分量的线性组合向量间内积寻找最佳的投影方向即求一组线性组合系数，或一变换向量w*从投影后数据的可分离程度入手，即分析投影之后的数据可分性d维空间可分性度量各类样本均值向量类内离散度矩阵和总类内离散度矩阵类间离散度矩阵1维空间可分性度量各类样本均值类内离散度和总类内离散度定义Fisher准则函数为了使类别分离得好，应使各类模式投影均值彼此间相距尽可能大使各类样本

5、内部尽量密集综合即有将变为w的显函数称为Rayleigh商,其具有以下性质：①，a是一个实数②的极值与的大小无关，只与的方向有关。下面求准则函数的极大值。将标量对向量求导并令其为零向量，注意到的分子分母均为标量，利用二次型关于向量求导的公式可得：上式表明：w*是矩阵相应于特征值的特征向量。由于目的是寻求最好的投影方向，w*的比例因子对此并无影响，因此，可得Fisher投影之后的一维分类问题一维分类，只需确定分界阈值阈值常取与类别均值有关的量决策步骤：投影+阈值比较4.3感知准则函数几个基本概念线性可分性对增广样本向量，存在一权向

6、量能将每个样本正确分类样本的规范化规范化增广样本向量解向量和解区未规范化样本向量规范化样本向量对解区的限制目的在于使解向量更可靠：越靠近解区中间的解向量越能对新的样本正确分类同时也可避免求解向量的算法不致收敛到解区边界的某点上感知准则函数对规范化增广样本向量，求一解向量使得构造准则函数式中Yk是错分样本集合该准则函数恒≥0；错分样本集合为空集时取最小值0感知准则函数名称的由来梯度下降解法梯度方向与负梯度方向在负梯度方向修正解向量梯度计算迭代求解步长的作用与选择迭代求解的简化形式单样本修正固定步长使向有利的方向移动，与错分样本向量

7、夹角减小4.4最小错分样本数准则感知准则函数的局限性只适用于线性可分情形，否则迭代无法收敛最小错分样本数准则通用于线性可分与不可分情形对线性可分：实现对所有样本的正确分类对线性不可分：得到错分数最少的分类结果介绍两种准则函数，体会其如何体现分类意图4.4.1解线性不等式组的共轭梯度法对规范化增广样本向量，分类问题转化为求解权向量使得正确分类的样本能使不等式成立，成立的不等式数目等于正确分类样本数对所有样本构造不等式组求解能使最多数目不等式成立的权向量Y的构建提出准则函数为不等式组引入余量（向量）准则函数准则函数分析错分样本有贡献

8、应使之最小化共轭梯度法4.4.2解线性不等式组的搜索法另一种形式的准则函数准则函数分析等于正确分类样本数求解其最大化搜索法注意向量形式4.5最小平方误差准则函数前述方法总结求解权向量，不等式法引入余量，将不等式组转化为方程组方程形式通常样本数大于维数，列满秩竖长