模式识别第5讲.ppt

《模式识别第5讲.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、模式识别模式识别——原理、方法及应用第5次课程概要统计分类线性判别最小距离分类器欧几里得线性判别马氏距离线性判别Fisher线性判别最小距离(模板匹配)分类器软木塞数据集2类1维将两类的均值点作为“典型模式”，样本根据与典型模式的距离，划分到离它们最近的那个“典型模式”所代表的类中分类规则如果

2、x-55.28

3、<

4、x-79.74

5、那么x∈ω1，否则x∈ω2第1类样本均值m1=55.28第2类样本均值m2=79.74改写分类规则原分类规则如果

6、x-55.28

7、<

8、x-79.74

9、那么x∈ω1，否则x∈ω2可改写为如果x<67.51，那么x∈ω1，否则x∈ω26

10、7.51为欧几里得距离下，两个均值点的中值点。67.51为就是用于分类的“超平面”该分类器的性能评判注意：我们没有估计该分类器在独立样本上的错误率增加一个特征x=[NPRT10]’2维空间里，利用欧氏距离的最小距离分类器的决策步骤画出决策面（到均值点距离相等的直线），它垂直于连接均值点的线段并通过线段的中点位于直线上方的点属于ω2位于直线下方的点属于ω1落在直线上，则任意分类最小距离分类器系统图欧几里得线性判别回顾：2维特征向量空间二分类问题在欧氏距离下运用最小距离分类器的例子。扩展：将该分类器扩展到任意的d维特征向量x、任意的类别数ωk（k=1…c）特征向

11、量x与典型模式之间的欧几里得距离平方欧几里得线性判别——决策特征向量x与典型模式之间的欧几里得距离平方选择使得上式最小的类ωk。假设类别数为2，则类之间对应的决策边界可如右式表达欧几里得线性判别——c类情况欧几里得线性判别——距离最小化与决策函数最大化最小化距离等价于最大化决策函数欧几里得线性判别——进一步了解假设类别数为2对坐标轴进行转换，考虑新的特征向量yy=x–0.5(m1+m2)在新坐标系下

12、

13、m1

14、

15、=

16、

17、m2

18、

19、分类决策就是要最大化mi和y之间的点乘，两个向量的夹角越小，点乘值越大，夹角为0得到最大值欧几里得线性判别——几何表示马氏距离线性判别回

20、顾：马氏距离适合于解决协方差不相等以及特征之间相互关联的情况假设：所有类别具有一个相同的协方差矩阵C（每类样本分布都有一个相似的椭圆形状）特征向量x与典型模式之间的马氏距离马氏距离线性判别——决策函数划分两类ωi和ωi的决策超平面通过连接均值点线段的中点，与向量C-1(mi-mj)相互正交。马氏距离线性判别——协方差矩阵注意我们之前的一个假设：所有类别具有一个相同的协方差矩阵C但是，实际应用中，不能保证所有类的协方差矩阵相同一个幸运的事实：如果偏差不是太大，决策面对它不很敏感一般情况下，利用总体协方差矩阵作为各类别协方差矩阵的平均值马氏距离2类1个特征的决策

21、函数系数两类的均值点m1=[55.28]m2=[79.74]平均方差s2=287.6296w1=m1/s2=[0.19219];w10=-0.5

22、

23、m1

24、

25、2/s2=-6.00532w2=m2/s2=[0.27723];w20=-0.5

26、

27、m2

28、

29、2/s2=-11.7464马氏距离2类2个特征的分类结果与欧式距离分类器相比，总错误率由18%降到了10%由于马氏距离考虑了样本聚类的形状，得到这个结果是合理的马氏距离2类2个特征的决策函数系数2类2特征软木塞欧式和马氏距离下的超平面基于不同协方差矩阵的最小距离分类器Fisher线性判别回顾：前面章节讨论过非监督学

30、习情况下减少向量维数的问题监督学习下，利用训练集上的标签信息，设计一个从高维问题到低维问题的映射，要求变换后的数据具有性质：同类样本尽可能聚集在一起不同类样本尽可能地远Fisher线性判别——两类问题(1)变换前的空间类别的均值向量分别为m1，m2；样本总类内离散度矩阵Sw；样本类间离散度矩阵SB；在降维后的空间里各类样本均值为mi*=w’mi；样本总类内离散度矩阵Sw*=w’Sww样本类间离散度矩阵SB*=w’SBwFisher线性判别——两类问题(2)变换后各类样本内部尽可能密集，即总类内离散度越小越好各类样本之间尽可能离得远，即样本类间离散度越大越好据

31、此可得到准则函数J，使得准则函数最大的w即为要求的变换系数Fisher线性判别——两类问题(3)确定判别阈值y0右边给出了一个阈值的确定方法Fisher线性判别的决策规则对于某一个未知样本x，如果y=w’x>y0，则x∈ω1，否则x∈ω2