张鸿宾 模式识别 第五讲.ppt

《张鸿宾 模式识别 第五讲.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2.3二次和线性分类器前面讲的提供了设计各种特定形式分类器的基础。这一小节讲述二次和线性分类器。所以叫作二次或线性分类器是因为分类（决策）面方程的数学形式是二次或线性的。这样的分类器又叫参数分类器，因为它们由一些参数所规定（如分布的均值和方差）。非参数分类器以后要讲。1©北京工业大学计算机学院®这一节的目的（概念）有两个：在一定的分布和条件下（如正态、等协方差矩阵），贝叶斯决策可以导致二次或线性分类器。虽然贝叶斯决策（似然比检验）在错误率或风险上是最优的，但必须知道类条件密度。在大多数应用场合，类

2、条件密度函数是从有限的样本中估计的。后面我们将讲一些密度函数估计的方法。但密度函数的估计本身是一件复杂工作（其难度不低于分类）并且需要大量样本。2©北京工业大学计算机学院®即使我们得到了密度函数，有时用似然比检验的方法也很难计算，需要大量的时间和空间。因此我们有时考虑更简便易行的分类器设计方法。用二次、线性、分段线性分类器。即先规定分类器的数学形式，然后在适当的准则下，来确定这些参数。这一节先分析在什么条件下贝叶斯分类器变成二次和线性分类器，然后讨论当这些条件不满足时，如何设计“性能好”的参数分类

3、器。3©北京工业大学计算机学院®一.两类问题的二次和线性分类器对于似然比检验的决策规则：4©北京工业大学计算机学院®当各类的类条件密度是高斯分布时，mi和Ki为均值向量和协方差矩阵。5©北京工业大学计算机学院®这时似然比为定义，-2倍自然对数,则:6©北京工业大学计算机学院®上式是二次分类器。计算x到各类均值mi的Mahalanobis距离，然后和阈值相比较，决定x属于第一或第二类。7©北京工业大学计算机学院®在一维时，马氏距离，即比较用方差标准化的一般距离。展开（※）式，有（※※）式中8©北京工

4、业大学计算机学院®决策边界h(x)=T是二次曲面（超曲面）：超椭球面、超双曲面、超抛物面、超平面等，或它们组合的形式。（为了确定二次曲面的形状，首先要消掉x的各分量相乘的项，可采用旋转坐标系的方法，把坐标轴旋转到A（※※）的特征向量的方向。曲面的几何形状由A的特征值决定。如果A的特征值全部是正的，则是超椭球面；如果特征值有些正，有些负，则是超双曲面；如果有些特征值是0，则是超抛物面。）9©北京工业大学计算机学院®当x落到决策边界的某一侧时，就把它分到相应的类。也可以把上述二次分类器用到非高斯分布的

5、密度函数，但这时不能保证错误率最小。（但所确定的边界是和二阶统计矩（均值、方差）最相匹配的。）任何具有（※※）式的分类器都叫作二次分类器。只有A、b、c是由高斯密度函数确定时，才叫高斯分类器。10©北京工业大学计算机学院®例1：两维时的二次分类器的决策边界假定两类模式都是高斯分布的，参数为：求的分类边界，并画出其曲线。11©北京工业大学计算机学院®解：12©北京工业大学计算机学院®假定T=0，h(x)=T=0化为：，是一双曲线。13©北京工业大学计算机学院®14©北京工业大学计算机学院®当先验概率

6、相等时，最小错误率决策规则选择密度函数大的。由于第二类在x2方向上的方差大于类1的，这样密度函数p(x

7、ω2)在x2方向上将有较广的延伸。使得在左边R2区域内有p(x

8、ω2)>p(x

9、ω1)，尽管这些点比较靠近类1的均值点。在前面的h(x)=xTAx+bTx+c中，如果两类的协方差矩阵相等，K1=K1=K2，则矩阵A=0，这时决策规则为：15©北京工业大学计算机学院®这时的决策边界就退化为线性决策边界（超平面），相应的分类器为线性分类器。式中16©北京工业大学计算机学院®二.判别函数和多类分类器判

10、别函数当模式有类，这时的最小错误率的决策规则可以表示为：若（※）式中称为判别函数（discriminantfunction）。它表示决策规则。17©北京工业大学计算机学院®由贝叶斯公式，和等价。即把用（※）式中时，决策规则是一样的。当先验概率相等时，p(x

11、ωk)也是一组等价的判别函数。一般地，若是任意一组判别函数，则下面定义的也是一组等价的判别函数：a>0,b是常数。（也可以是x的函数，但不能是k的函数。）18©北京工业大学计算机学院®同样，若，f是单调增函数，它和也是等价的。这些性质可以使我们

12、从一组判别函数推导出另外的判别函数，以便计算上更加简单，或者意义更清楚，便于理解。19©北京工业大学计算机学院®当每类都是正态分布，其均值和协方差分别为mk和Kk时，这时的最小错误率决策规则的判别函数为：多类的二次和线性分类器由于自然对数是单调增的，所以可以定义下面等价的判别函数：20©北京工业大学计算机学院®（※）这是二次判别函数。当所有类的先验概率相等时，可以省略。前面已经证明，当两类的协方差矩阵相等时，二次分类器退化为线性分类器。多类时也是如此。21©北京工业大学计算机学院®