哈工大 模式识别第四章第五章ppt课件.ppt

《哈工大 模式识别第四章第五章ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章特征的选择与提取2021/10/61哈尔滨工业大学电信院宿富林2021/10/6哈尔滨工业大学电信院宿富林2§4.1基本概念如何确定合适的特征空间是设计模式识别系统另一个十分重要，甚至更为关键的问题。如果所选用的特征空间能使同类物体分布具有紧致性，即各类样本能分布在该特征空间中彼此分割开的区域内，这就为分类器设计成功提供良好的基础。反之，如果不同类别的样本在该特征空间中混杂在一起，再好的设计方法也无法提高分类器的准确性。这一章要讨论的问题就是特征空间如何设计的问题2021/10/6哈尔滨工业大学电信院宿富林3如何构造一

2、个特征空间，即对要识别的事物用什么方法进行描述、分析的问题？1、物理量的获取与转换(原始测量）这是指用什么样的传感器获取电信号，如摄取景物则要用摄像机。可以称之为原始信息(原始测量，得到测量空间)。2、描述事物方法的选择与设计(特征形成)在得到了原始信息之后，要对它进一步加工，以获取对分类最有效的信息。设计所要信息的形式是十分关键的。2021/10/6哈尔滨工业大学电信院宿富林4例用RGB颜色空间和HSI颜色空间右边是原始图像，左边是用HSI空间描述的同一图像(但是为了显示出来，用H对应R，S对应G，I对应B，然后再以RGB

3、的方式显示出来3、特征空间的优化这个层次的工作发生在已有了特征的描述方法之后，也就是已有了一个初始的特征空间，如何对它进行改造与优化的问题。一般说来要对初始的特征空间进行优化是为了降维。即初始的特征空间维数较高。能否改成一个维数较低的空间，称为优化，优化后的特征空间应该更有利于后续的分类计算，这就是本章着重讨论的问题。对特征空间进行优化有两种基本方法：一种为特征选择，一种为特征的组合优化----特征的提取。2021/10/6哈尔滨工业大学电信院宿富林52021/10/6哈尔滨工业大学电信院宿富林6特征选择已有D维特征向量空间

4、，Y={y1,y2,…,yD}，从原有的D维特征空间，删去一些特征描述量，从而得到精简后的特征空间。在这个特征空间中，样本由d维的特征向量描述：X={x1,x2,…,xd}，d＜D。X只是Y的一个子集，每个分量xi必然能在原特征集中找到其对应的描述量xi＝yj。2021/10/6哈尔滨工业大学电信院宿富林7特征提取找到一个映射关系：A:Y→X使新样本特征描述维数比原维数降低。其中每个分量xi是原特征向量各分量的函数，即Xi=fi(y1,y2,…,yD)这两种降维的基本方法是不同的。在实际应用中可将两者结合起来使用，比如先进特

5、征提取，然后再进一步选择其中一部分，或反过来。2021/10/6哈尔滨工业大学电信院宿富林8§4.2类别可分离性判据对原特征空间优化，就要对优化结果进行评价实际的评价方法，是对系统性能进行测试，测试指标主要有正确率、计算速度、存储容量等。本章讨论的评价方法：目的在于找出对特征空间进行优化的具体算法。对特征空间进行优化是一种计算过程，它的基本方法仍然是模式识别的典型方法：找到一种准则(或称判据，通常用一种式子表示），以及一种优化计算方法，使这种准则达到一个极值。2021/10/6哈尔滨工业大学电信院宿富林9判据理想的情况是与计

6、算错误率有关的判据直接反映错误率的是贝叶斯公式，在实际中运用有困难采用其他判据2021/10/6哈尔滨工业大学电信院宿富林10可分性判据应满足的要求（1）与错误率有单调关系，这使判据取最大值时错误率也较小（2）当特征独立时有可加性：（Jij是第i类与第j类的可分性准则）（3）度量特性：（4）单调性：加入新的特征时，判据不减小2021/10/6哈尔滨工业大学电信院宿富林11几种常用的可分性判据以计算样本在特征空间离散程度为基础的准则，称为基于距离的可分性判据（重点）基于概率密度分布的可分性判据。基于熵函数的可分性判据（不讲）2

7、021/10/6哈尔滨工业大学电信院宿富林12一、基于距离的可分性判据基于距离的度量是用来进行分类的重要依据。因为一般情况下同类物体在特征空间呈聚类状态，即从总体上说同类物体内各样本由于具有共性，因此类内样本间距离应比跨类样本间距离小。Fisher准则(也可看成是特征提取方法)正是以使类间距离尽可能大同时又保持类内距离较小这一种原理为基础的。同样在特征选择与特征提取中也使用类似的原理，这一类被称为基于距离的可分性判据。2021/10/6哈尔滨工业大学电信院宿富林13两类之间的距离：ω1任一点与ω2中任一点的距离和的平均。多类

8、：各类之间的平均距离:ωi任一点xk(i)与ωj中任一点xj(j)的距离Pi,Pj是第i类和第j类的先验概率度量类内、类间的距离，可用不同方法，如欧氏距离等。2021/10/6哈尔滨工业大学电信院宿富林14欧氏距离下的可分性判据欧氏距离：每类均值：所有样本集总均值：平均距离：（判据）令：则