模式识别第2讲

《模式识别第2讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别模式识别——原理、方法及应用第2次课程概要模式判别决策区域和决策函数广义决策函数分类超平面特征空间尺度协方差矩阵决策区域样本用特征空间Rd的特征向量表示对于分类问题，将特征空间划分为与类对应的区域，这些区域被称为决策区域决策区域类别界限样本x=[x1,x2]’∈R2决策区域与决策函数特征空间尺度协方差矩阵决策函数决策函数样本x=[x1,x2]’∈R2决策区域与决策函数特征空间尺度协方差矩阵决策函数决策函数样本x=[x1,x2]’∈R2决策区域与决策函数特征空间尺度协方差矩阵增广特征向量权向量增广权向量决策函数超平面的两个参数任意一点z到超平面的距离决策区域与决策函数特征空间尺度协方差

2、矩阵：决策面或判别式d维线性平面超平面确定超平面的两个参数如下线性决策函数遇到什么情况没法有效分类？广义决策函数决策区域与决策函数特征空间尺度协方差矩阵只要各类别间没有重叠，我们总能在Rd空间中找到一个广义决策函数，将第i类从全体类别中分离出来。广义决策函数例1：应用二次决策函数的一个两类判别问题决策区域与决策函数特征空间尺度协方差矩阵广义决策函数例2：广义决策函数为函数的线性组合的一个两类判别问题决策区域与决策函数特征空间尺度协方差矩阵变换广义决策函数例3：广义决策函数为多项式的一个两类判别问题决策区域与决策函数特征空间尺度协方差矩阵两个特征，15个权重系数十四个特征，1个偏差量多项式决策

3、函数的计算量决策区域与决策函数特征空间尺度协方差矩阵d维特征空间的模式识别问题，为了得到一个k次的多项式决策函数需要计算个多项式系数如何解决多分类问题第一种情况：绝对可分任何一个类可以从其他所有的类中分离出来决策区域与决策函数特征空间尺度协方差矩阵可通过推广两类分类问题，即采用多阶段二分类方法解决多类问题。决策函数决策域决策函数决策域如何解决多分类问题第二种情况：成对可分不能达到绝对可分，但可以成对线性可分决策区域与决策函数特征空间尺度协方差矩阵决策函数决策域常用范数能够度量特征向量之间距离的四种常用方法决策区域与决策函数特征空间尺度协方差矩阵切比雪夫范数棋盘格范数欧几里得范数欧几里得平方范

4、数乘方范数p是控制各维度差异的权重，r则控制样本逐渐分开的时候，它们之间距离的增长速度。r=p，明可夫斯基范数。r=p=2，欧几里得范数。r=p=1，棋盘格范数。r=p∞，切比雪夫范数。决策区域与决策函数特征空间尺度协方差矩阵欧几里得距离尺度下的等距离面和决策面与均值点距离为1的等距离面决策面2维空间类别数为2两个类的均值点分别是[12][1.51]决策面上的点到两个均值点距离是相等的。决策面实际上是垂直于两个类均值点连线并通过连线中点的超平面。决策区域与决策函数特征空间尺度协方差矩阵欧几里得距离尺度下的等距离面和决策面与均值点距离为1的等距离面决策面2维空间类别数为2两个类的均值点分别是

5、[12][1.51]决策面上的点到两个均值点距离是相等的。决策面实际上是垂直于两个类均值点连线并通过连线中点的超平面。决策区域与决策函数特征空间尺度协方差矩阵棋盘格距离尺度下的等距离面和决策面等距离面决策面2维空间类别数为2两个类的均值点分别是[12][1.51]决策面是阶梯状的直线，基本是平行于x轴。如果每一类数据沿轴向分布，则适合用棋盘格距离尺度来划分类。决策区域与决策函数特征空间尺度协方差矩阵切比雪夫距离尺度下的等距离面和决策面等距离面决策面2维空间类别数为2两个类的均值点分别是[12][1.51]决策面是阶梯状的直线，基本平行于xy轴的对角线方向。如果每一类数据沿象限二等分线分布，则

6、适合用切比雪夫距离尺度来划分类。决策区域与决策函数特征空间尺度协方差矩阵距离尺度的选择我们观察样本，看样本是以什么形状聚集在类均值点周围的，然后根据不同距离尺度的性质，进行距离尺度选择。有没有一种距离尺度适用性稍广一些，比如通过调整某些特定的参数，以适合不同的聚类形状？决策区域与决策函数特征空间尺度协方差矩阵调整——线性变换A为对称矩阵变换后的空间，等距离面变成了超椭圆面。决策区域与决策函数特征空间尺度协方差矩阵马哈拉诺比斯距离尺度当A为单位矩阵，就得到欧几里得距离尺度要达到适合多种聚类形状的情况，可以通过选择合适的A实现为了使得马氏距离公式符合距离的意义，A是正定矩阵关于A，后面有更多讨论

7、……决策区域与决策函数特征空间尺度协方差矩阵比例尺（1）一个二维两类的数据分布直观得到，两个坐标轴使用的是同样的比例尺在欧氏距离尺度下，两个特征对于距离的计算贡献是等价的。决策区域与决策函数特征空间尺度协方差矩阵比例尺（2）修改PRT维度的比例尺（实际上是还原为原来的特征量PRT=PRT10*10）在欧氏距离尺度下，参数N对于距离的计算没有贡献。决策区域与决策函数特征空间尺度协方差矩阵一种标准化方法除了对特征