6 特征的选择与提取

《6 特征的选择与提取》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第6章特征的选择和提取6.1基本概念6.2类别可分离性判据6.3特征提取6.4特征选择投影法降维通常假定给出了维数为d的确定的模式样本集，但d维特征如何确定尚未明确实际设计一个模式识别系统时，首先要解决的问题用各种可能的手段对识别对象的性质作各种可能的测量，并将这些测量值作为分类的特征为了设计出好的分类器，一般需要对原始的测量值集合进行分析，进行选择或变换，组成识别特征，在保证一定分类精度的前提下，减少特征维数，使分类器的工作又快又准确要达到上述目的，关键是所提供的模式特征应具有很好的可分性（类别可分离性判据来衡量），同时去掉那些关联性较强的特征6.1基本概念特征提取

2、与选择基本任务——如何从许多特征中找出那些最有效的特征必要性——对分类器性能的影响分类器性能：正确性（低误判率）与通用性（泛化能力）特征可区分性维数大小的影响特征处理的基本方法分别处理单个特征，并除去那些几乎不具（新的、不相关）辨别能力的特征将特征综合考虑，通过线性/非线性变换，使结果维数降低且具有更好地辨别能力分别称为特征选取与特征提取特征形成根据被识别的对象产生出来的一组基本特征特征提取在原始特征的维数很高的情况下，通过映射（或变换）的方法用低维空间来表示样本特征选择从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的特征处理相关术语6.2类别可分离性判

3、据需要依据某种准则进行特征提取和选择，为此应当首先构造这样的准则——类别可分离性判据可分离性判据应能反映各类样本在特征空间中的分布情况，能刻画各特征分量在分类识别中的重要性或贡献1类别可分离性判据满足的要求（1）与错误概率（或其的上下界）有单调关系（2）当特征独立时有可加性（3）具有“距离”的某些特性，即（4）对特征数目是单调不减，即加入新的特征后，判据值不减应当指出，所构造的可分离性判据并不一定同时具有上述的四个性质，但这并不影响它在实际使用中的性质。下面学习几种常用的判据2用于可分离性判据的类内类间距离各类样本可以分开是因为它们位于特征空间中不同的区域，显然这些区

4、域之间的距离越大类别可分离性就越大两个类区和之间的平均距离多类情况下，各类之间的平均距离定义第i类样本集的均值向量所有各类的样本集总平均向量各类之间的平均距离又可表示为矩阵迹的定义与性质矩阵的迹具有下述的常见性质：tr(A+B)=tr(A)+tr(B)tr(kA)＝ktr(A)tr(AT)＝tr(A)tr(AB)＝tr(BA)tr(ABC)＝tr(BCA)＝tr(CAB)对离散度矩阵的讨论离散度矩阵与方差、协方差矩阵类间离散度矩阵的秩=c-1总体散布矩阵/混合散布矩阵3基于概率分布的可分性判据下面我们以两类问题为例，分析一下基于概率分布的可分性判据，先看一个简单的例子

5、由上启发我们可用两类概率密度函数的重叠程度（相似程度）来度量可分性，构造基于类概率的可分性判据它可以是概率密度函数的乘积、比或差的积分来刻画重叠程度构造的基于类概率的可分性判据应满足的条件：（1）（2）当两类不重叠时，（3）当两类概率密度完全重合时，（4）相对于两个概率密度具有“对称性”下面介绍三个判据一（Bhattacharyya判据）它与错误率的上界有直接关系：二（Chernoff判据）（1）对一切，（2）对一切，（3）当的各分量彼此独立时，（4）当的各分量彼此独立时，三（D-判据、散度）散度具有的性质：（1）（2）（3）当的各分量彼此独立时，（4）当的各分量彼此

6、独立时，（5）下面我们求正态分布时的表达式。已知6.3特征提取前面我们提到了基于类内类间矩阵的可分离性判据和基于概率分布的可分离性判据。我们可以依据这些判据进行特征的提取，为此，设原特征向量，对作线性变换，产生d维向量，即矩阵，称为特征提取矩阵或变换矩阵，称为二次特征。按欧氏距离度量的特征提取下面我们着重讨论选择的情况。在线性变换矩阵的作用下在变换后的子空间非奇异线性变换的不变性（变换矩阵为A）同样是这样选择。参考P187例题8.1这里不加证明的给出以下结论：和分别为和的特征值。这样，要选择最佳变换是要选择一个d维子空间，使得在此子空间中，的特征值之和最大习题6-1已

7、知有两类数据，分别为试求：该组数据的类内及类间离散度矩阵。习题6-2对上题给出的数据，求使达到最大的特征提取。习题6-1已知有两类数据，分别为试求：该组数据的类内及类间离散矩阵。解：例题6-2对上题给出的数据，求使达到最大的特征提取。解：由前面所得由于秩为1，故只有一个非零本征值，是矩阵，即，为求的本征值应解方程：由于为标量，所以讨论内容：*根据类内散布矩阵如何确定变换矩阵W；*通过W如何进行特征提取。1．根据类内散布矩阵确定变换矩阵式中，x为n维向量，Σ为n×n的实对称矩阵。补充：基于类内离散度矩阵的单类模式特征提取——n个特征向量相互正交。若选n