模式识别(2-2)复习过程.ppt

《模式识别(2-2)复习过程.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别(2-2)回顾：基于最小风险的贝叶斯决策分类器设计决策域：在描述待识别对象的d维特征所组成的特征空间内，将其划分为c个决策域，待识别的特征向量落在哪个决策域，该样本就被判为哪一类。决策面：决策域的边界面，在数学上用解析形式表示成决策面方程。判别函数：用于表达决策规则的某些函数则称为判别函数。判别函数与决策面方程是密切相关的，并且都是由相应决策规则所确定的。分类器设计例：在两类别问题中，按最小错误率作决策时，决策规则的一种形式是：分类器设计两类情况：分类器设计多类情况：决策面：只有在特征空间中具有相邻关系的决策域的

2、边界面才是有意义的决策面。当ωi的决策域与ωj的决策域相邻时，以下关系决定了相应的决策面:分类器设计---决策面：当特征空间只是一维时，一个决策面实际上只是一个点。在二维特征空间里，决策面是一条曲线。三维则是一曲面。超过三维的空间，决策面是一个超曲面。下图(a)表示了一个三类别问题用一维特征空间时的所有决策边界，而图(b)则表示了相应的二维特征空间中的决策边界。分类器设计分类器可以用软件或硬件实现。图2.6表示了两类别问题分类器的框图，而图2.7则表示了多类别分类器的结构框图。两者主要的不同在于多类别情况需有一个求最大值

3、的环节，在图2.7中用MAX表示，而两类情况则可简化为正负号判别器(阈值单元)。§2.4正态分布时的统计决策为什么采用正态分布?正态分布在物理上是合理的、广泛的。（特征较多地分布在均值附近，远离均值点较少）正态分布数学上简便，N(μ,σ²)只有均值和方差两个参数。正态分布概率密度函数的定义与性质单变量正态分布：正态分布概率密度函数的定义与性质多元正态分布:（1）概率密度函数形式正态分布概率密度函数的定义与性质多元正态分布:（1）概率密度函数形式正态分布概率密度函数的定义与性质正态分布概率密度函数的定义与性质Σ是非负矩阵，

4、在此我们只考虑正定阵，即

5、Σ

6、＞0。正态分布概率密度函数的定义与性质（2）多元正态分布的重要特性说明：多元正态分布的概率密度函数中的元就是我们前面说得特征向量的分量数，也就是维数。多维向量：每一个分量都是一个随机变量，服从正态分布。但是一个多维随机向量不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系。正态分布概率密度函数的定义与性质例：两个二元正态分布相同：期望(μ1和μ2)方差σ1和σ2都相同不同：这两个特征向量在空间的分布却不相同：对右图来说，x1和x2有很大的相关性，而对左图来说，随机变量x1与x2之

7、间的相关性很小。正态分布概率密度函数的定义与性质对于右图可以看出一个随机变量的x1分量较小时，另一分量x2也必然较小。而当随机变量的x1较大时，则其相应的x2分量也较大。换句话说，如果x1分量小于其均值μ1,则其相应的分量x2也很可能小于它的均值μ2。因此当x1-μ1<0时，也常伴有x2-μ2<0，这说明它们之间有联系，或称相关性。正态分布概率密度函数的定义与性质用(x2-μ2)(x1-μ1)这两项相乘来看就有倾向化。对整个随机变量样本集取期望值，就会使E[(x2-μ2)(x1-μ1)]有非零值。反过来看左图中的随机变

8、量分布，就没有这种规律。正态分布概率密度函数的定义与性质一个随机变量x1分量小于其均值,并不对其相应分量x2与均值之间的关系有什么限制。在此时一个随机变量(x1-μ1)与(x2-μ2)的乘积的符号就可正可负，则E[(x2-μ2)(x1-μ1)]就可能接近于零，或等于零。正态分布概率密度函数的定义与性质协方差矩阵协方差矩阵衡量相关性。非对角元素表示了两个分量之间的相关性。主对角元素则是各分量本身的方差。协方差矩阵的重要属性：正定的对称矩阵。由于它的主对角元素都是各分量的方差，因此一般情况下都是大于零的值。正态分布概率密度

9、函数的定义与性质请问哪个是左图，哪个是右图？正态分布概率密度函数的定义与性质如果是一个三维向量，它的协方差矩阵是几乘几的矩阵？每个元素又对应什么含义？3×3矩阵正态分布概率密度函数的定义与性质设有二维随机变量的分布如图a、b、c所示的三种情况，协方差矩阵表示成试问这三种分布分别对应哪种情况？B.a12<0C.a12≈0A.a12>0正态分布概率密度函数的定义与性质(3)性质：1）μ与∑对分布起决定作用；p(x)～N(μ,∑),μ由n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成

10、。2）等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。(x－μ)ＴΣ－１(x－μ)＝常数在二维情况下，上式的解是一个椭圆轨迹，其长短轴方向由Σ协方差矩阵的特征向量决定，在三维时则是一个椭球面，超过三维则是超椭球面，主轴方向由协方差矩阵的特征向量决定，各主轴的长度则与相应的特征值成正比。正态分布概率密