武汉大学电子信息学院

《武汉大学电子信息学院》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、武汉大学电子信息学院IPL第四章线性判别函数模式识别理论及应用PatternRecognition-MethodsandApplication内容目录IPL第四章线性判别函数674.2Fisher线性判别34.3感知器准则4.5多类问题4.6分段线性判别函数54.1引言144.4最小平方误差准则模式识别与神经网络4.7讨论24.1引言基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数MAXg1...g2gc...x1x2xna(x)最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义。获取统

2、计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。训练样本集样本分布的统计特征：概率密度函数决策规则：判别函数决策面方程分类器功能结构3第四章线性判别函数直接确定判别函数基于样本的直接确定判别函数方法：针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。这些准则的“最优”并不一定与错误率最小相一致：次优分类器。实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g(x)=wTx（决策面是超平面），能否基于样本直接确定w?引言训练样本集决策规则：判别函数决策面方程选择最佳准则4

3、第四章线性判别函数线性判别函数d维空间中的线性判别函数的一般形式：x是样本向量，即样本在d维特征空间中的描述，w是权向量，w0是一个常数(阈值权)。两类问题的分类决策规则:引言5第四章线性判别函数线性判别函数的几何意义决策面(decisionboundary)H方程：g(x)=0向量w是决策面H的法向量g(x)是点x到决策面H的距离的一种代数度量引言x1x2wxxprH:g=06第四章线性判别函数广义线性判别函数线性判别函数是形式最为简单的判别函数，但是它不能用于复杂情况。例：设计一个一维分类器，使其功能为：二次函数的一般形式：g(x)又可

4、表示成：引言映射X→Y7第四章线性判别函数广义线性判别函数(2)按照上述原理，任何非线性函数g(x)用级数展开成高次多项式后，都可转化成线性判别函数来处理。一种特殊映射方法：增广样本向量y与增广权向量a线性判别函数的齐次简化：增广样本向量使特征空间增加了一维，但保持了样本间的欧氏距离不变，对于分类效果也与原决策面相同，只是在Y空间中决策面是通过坐标原点的，这在分析某些问题时具有优点，因此经常用到。引言8第四章线性判别函数线性分类器设计步骤线性分类器设计任务：给定样本集K，确定线性判别函数g(x)=wTx的各项系数w。步骤：收集一组样本K={

5、x1,x2,…,xN}按需要确定一准则函数J(K,w)，其值反映分类器的性能，其极值解对应于“最好”决策。用最优化技术求准则函数J的极值解w*，从而确定判别函数，完成分类器设计。对于未知样本x，计算g(x)，判断其类别引言9第四章线性判别函数4.2Fisher线性判别线性判别函数y=g(x)=wTx:样本向量x各分量的线性加权样本向量x与权向量w的向量点积如果

6、

7、w

8、

9、=1，则视作向量x在向量w上的投影Fisher准则的基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为

10、最佳。10第四章线性判别函数Fisher线性判别图例Fisher判别x1x2w1H:g=0w2Fisher准则的描述：用投影后数据的统计性质—均值和离散度的函数作为判别优劣的标准。11第四章线性判别函数d维空间样本分布的描述量Fisher判别各类样本均值向量mi样本类内离散度矩阵Si与总类内离散度矩阵Sw样本类间离散度矩阵Sb：离散矩阵在形式上与协方差矩阵很相似，但协方差矩阵是一种期望值，而离散矩阵只是表示有限个样本在空间分布的离散程度12第四章线性判别函数一维Y空间样本分布的描述量Fisher判别各类样本均值样本类内离散度和总类内离散度样

11、本类间离散度以上定义描述d维空间样本点到一向量投影的分散情况，因此也就是对某向量w的投影在w上的分布。样本离散度的定义与随机变量方差相类似13第四章线性判别函数样本与其投影统计量间的关系Fisher判别样本x与其投影y的统计量之间的关系：14第四章线性判别函数样本与其投影统计量间的关系Fisher判别15第四章线性判别函数Fisher准则函数Fisher判别评价投影方向w的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求Fisher准则函数的定义：Fisher最佳投影方向的求解16第四章线性判别函数F

12、isher最佳投影方向的求解Fisher判别采用拉格朗日乘子算法解决m1-m2是一向量，对与(m1-m2)平行的向量投影可使两均值点的距离最远。但是如从使类间分得较开，同时又使类