模式识别之二次和线性分类器.ppt

《模式识别之二次和线性分类器.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、2.3二次和线性分类器前面讲的统计决策理论提供了分类器设计的基础。这一小节讨论二次和线性分类器。所以叫作二次或线性分类器是因为分类（决策）面方程的数学形式是二次或线性的。这样的分类器又叫参数分类器，因为它们由一些参数所规定（如分布的均值和方差）。非参数分类器以后要讲。1这一节的目的（概念）有两个：在一定的分布和条件下（如正态、等协方差矩阵），贝叶斯决策可以导致二次或线性分类器。虽然贝叶斯决策（似然比检验）在错误率或风险上是最优的，但必须知道类条件密度。在大多数应用场合，类条件密度函数是从有限的样本中估计的。后面我们将讲一些密度函数估计的方法

2、。但密度函数的估计本身是一件复杂工作（其难度不低于分类）并且需要大量样本。2即使我们得到了密度函数，有时用似然比检验的方法也很难计算，需要大量的时间和空间。因此我们有时考虑更简便易行的分类器设计方法。用二次、线性、分段线性分类器。即先规定分类器的数学形式，然后在适当的准则下，来确定这些参数。这一节先分析在什么条件下贝叶斯分类器变成二次和线性分类器，然后讨论当这些条件不满足时，如何设计“性能好”的参数分类器。3一.两类问题的二次和线性分类器对于似然比检验的决策规则：4当各类的类条件密度是高斯分布时，mi和Ki为均值向量和协方差矩阵。5这时似然

3、比为定义，-2倍自然对数,则:6上式是二次分类器。计算x到各类均值mi的Mahalanobis距离，然后和阈值相比较，决定x属于第一或第二类。7在一维时，马氏距离，即比较用方差标准化的一般距离。展开h(x)式，有（※※）式中8决策边界h(x)=T是二次曲面（超曲面）：超椭球面、超双曲面、超抛物面、超平面等，或它们组合的形式。（为了确定二次曲面的形状，首先要消掉x的各分量相乘的项，可采用旋转坐标系的方法，把坐标轴旋转到A（※※）的特征向量的方向。曲面的几何形状由A的特征值决定。如果A的特征值全部是正的，则是超椭球面；如果特征值有些正，有些负，

4、则是超双曲面；如果有些特征值是0，则是超抛物面。）9当x落到决策边界的某一侧时，就把它分到相应的类。也可以把上述二次分类器用到非高斯分布的密度函数，但这时不能保证错误率最小。（但所确定的边界是和二阶统计矩（均值、方差）最相匹配的。）任何具有（※※）式的分类器都叫作二次分类器。只有A、b、c是由高斯密度函数确定时，才叫高斯分类器。10例1：两维时的二次分类器的决策边界假定两类模式都是高斯分布的，参数为：求的分类边界，并画出其曲线。11解：12假定T=0，h(x)=T=0化为：，是一双曲线。131415当先验概率相等时，最小错误率决策规则选择密

5、度函数大的。由于第二类在x2方向上的方差大于类1的，这样密度函数p(x

6、ω2)在x2方向上将有较广的延伸。使得在左边R2区域内有p(x

7、ω2)>p(x

8、ω1)，尽管这些点比较靠近类1的均值点。在前面的h(x)=xTAx+bTx+c中，如果两类的协方差矩阵相等，K1=K2=K，则矩阵A=0，这时决策规则为：16这时的决策边界就退化为线性决策边界（超平面），相应的分类器为线性分类器。式中17二.判别函数和多类分类器判别函数当模式有类，这时的最小错误率的决策规则可以表示为：若（※）式中称为判别函数（discriminantfunction）。它表

9、示决策规则。18由贝叶斯公式，和等价。即把用在（※）式中时，决策结果和是一样的。当先验概率相等时，p(x

10、ωk)也是一组等价的判别函数。一般地，若是任意一组判别函数，则下面定义的也是一组等价的判别函数：a>0,b是常数。（也可以是x的函数，但不能是k的函数。）19同样，若f是单调增函数，则它和也是等价的判别函数。这些性质可以使我们从一组判别函数推导出另外的判别函数，以便计算上更加简单，或者意义更清楚，便于理解。20当每类都是正态分布，其均值和协方差矩阵分别为mk和Kk时，这时的最小错误率决策规则的判别函数为：多类的二次和线性分类器由于自然对

11、数是单调增的，所以可以定义下面等价的判别函数：21（※）这是二次判别函数。当所有类的先验概率相等时，可以省略。前面已经证明，当两类的协方差矩阵相等时，二次分类器退化为线性分类器。多类时也是如此。22当时，（※）式化为：上式中，由于第一项和第四项对所有的类都是相同的，所以等价的一组判别函数为：（※※）上式是x的线性函数。下面考虑一些特定情况，说明二次和线性分类器的应用。以下假定各类的先验概率都相等。23例2：最小距离分类器。假定各类的先验概率相等，而且各类，即x的各个分量不相关，且各类等方差。解：这时的判别函数化为（P22（※）式）：后两项对

12、所有类是共同的，可以省略。分母中的也可以去掉，因而有等价的判别函数：这时的决策规则的含义是：x离哪类的均值最近，就把它分到哪类。24例3：内积分类器（相关分类器）有假定。利用线性