资源描述：
《《线性判别函数》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第四章线性判别函数模式识别与神经网络PatternRecognitionAndneuralnetworkTableofContents4.1引言4.2矩阵计算基础4.3感知器准则4.4最小平方误差准则4.5多类问题4.6分段线性判别函数4.7讨论4.1引言基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义。获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。训练样本集样本分布的
2、统计特征：概率密度函数决策规则：判别函数决策面方程分类器 功能结构ARGMAXg1...g2gc...x1x2xna(x)直接确定判别函数基于样本的直接确定判别函数方法：设定判别函数形式，用样本集确定判别函数的参数。定义准则函数，表达分类器应满足的要求。这些准则的“最优”并不一定与错误率最小相一致：次优分类器。实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g(x)=wTx（决策面是超平面）。那么我们能否基于样本直接确定w?引言训练样本集决策规则：判别函数决策面方程选择最佳准则线性分
3、类器设计步骤线性分类器设计任务：给定样本集K，确定线性判别函数g(x)=wTx的各项系数w。步骤：收集一组已知类别的样本K={x1,x2,…,xN}按需要确定一准则函数J(K,w)，其值反映分类器的性能，其极值解对应于“最好”分类。用最优化技术求准则函数J的极值解w*，从而确定判别函数，完成分类器设计。对于未知样本x，计算g(x)，判断其类别。引言设计应用线性判别函数d维空间中的线性判别函数的一般形式：x是样本向量，即样本在d维特征空间中的描述，w是权向量，w0是一个常数(阈值权)。引言两类问题的分
4、类决策规则引言规则表达1规则表达2线性判别函数的几何意义决策面(decisionboundary)方程：g(x)=0决策面将特征空间分成决策区域。向量w是决策面H的法向量g(x)是点x到决策面H的距离的一种代数度量x1x2wxxprH:g=0R1:g>0R2:g<0引言线性分类器的分类界面分类界面的几何解释线性分类界面H是d维空间中的一个超平面；分类界面将d维空间分成两部分，R1，R2分别属于两个类别；判别函数的权矢量w是一个垂直于分类界面H的矢量，其方向指向区域R1；偏置w0与原点到分类界面H的距
5、离有关：4.2矩阵计算基础矢量X可以看作是N维欧氏空间中的一个点，用一个列矢量表示：线性判别函数和判别界面线性不可分情况矩阵矩阵可以看作是由若干个矢量构成的：矩阵的秩矩阵所有行向量的最大无关组个数称为行秩；矩阵所有列向量的最大无关组个数称为列秩；一个矩阵的行秩等于列秩，称为矩阵的秩。转置列矢量W的转置WT为一个行矢量；N*M的矩阵A的转置AT为一个M*N的矩阵。矢量与矢量的乘法(1)设W和X为N维列矢量结果是一个数。矢量与矢量的乘法(2)设W和X为N维列矢量结果是一个N*N维的矩阵。矢量与矩阵的乘法
6、设W为N维列矢量，A为一个N*M的矩阵：结果是一个N维列矢量。正交设W和X为N维列矢量，如果W与X的内积等于零：则称W与X正交，也称W垂直于X。逆矩阵A为一个N*N的方阵，A的逆阵用A-1表示，满足：其中I为单位阵。一个矩阵的逆阵存在条件：1)是一个方阵，2)是一个满秩矩阵，矩阵的秩为N矩阵的特征值和特征向量A为一个N*N的方阵，如果有：数称为A的特征值，矢量ξ称为A的特征矢量。矩阵的迹和行列式值A为一个N*N的方阵，A的迹为主对角线元素之和：矩阵的迹、行列式值与特征值之间的关系矩阵A有N个特征值
7、1，2，…，N，则有如下关系：矩阵对数值变量微分矩阵A(t)=[aij(t)]M*N，元素aij(t)是变量t的函数，矩阵A(t)对t的微分：矩阵函数对矩阵的微分矩阵X=(xij)M*N，M*N元函数f(X)，定义f(X)对矩阵X的导数：常用矢量微分的性质X和W为N维矢量，A为M*N的矩阵：4.3线性（与非线性）判别函数一、两类问题二、多类问题4.3.1线性判别函数两类问题的线性判别函数X0=(x1,x2,…,xN)T为待识模式的特征矢量；W0=(w1,w2,…,wN)T称为权矢量。线性判别函
8、数x=(x1,x2,…,xd)t:特征矢量；w=(w1,w2,…,wd)t:权矢量；w0：偏置(bias)。线性判别函数的增广形式X=(x1,x2,…,xN,1)T称为增广的特征矢量；W=(w1,w2,…,wN,1)T称为增广的权矢量。两类问题线性判别准则多类问题（情况一）每一类模式可以用一个超平面与其它类别分开；这种情况可以把M个类别的多类问题分解为M个两类问题解决；多类问题（情况一）多类问题（情况一）判别规则当d1(X)≥0，而d2(X)<0且d3(X)<0时，判
