特征选择和特征提取

《特征选择和特征提取》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别原理与应用专业：模式识别与智能系统学生姓名：***任课教师：余老师一、基本概念特征的选择与提取是模式识别中重要而困难的一个环节：分析各种特征的有效性并选出最有代表性的特征是模式识别的关键一步。降低特征维数在很多情况下是有效设计分类器的重要课题。引言特征的形成特征形成(acquisition)：信号获取或测量→原始测量原始特征实例：数字图象中的各像素灰度值人体的各种生理指标原始特征分析：原始测量很大程度上不能反映对象本质高维原始特征不利于分类器设计：计算量大，冗余，样本分布十分稀疏。引言二、特征的选择与提取两类提取有效信息、压缩特征空间的方法：特征提取和特征选择特征提取(extr

2、action)：用映射（或变换）的方法把原始特征变换为较少的新特征。特征选择(selection)：从原始特征中挑选出一些最有代表性，分类性能最好的特征。特征的选择与提取与具体问题有很大关系，目前没有理论能给出对任何问题都有效的特征选择与提取方法。特征的选择与提取举例细胞自动识别：原始测量：（正常与异常）细胞的数字图像原始特征（特征的形成，找到一组代表细胞性质的特征）：细胞面积，胞核面积，形状系数，光密度，核内纹理，核浆比压缩特征：原始特征的维数仍很高，需压缩以便于分类特征选择：挑选最有分类信息的特征特征提取：数学变换傅立叶变换或小波变换用PCA方法作特征压缩三、特征提取与K-L变换特

3、征提取：用映射（或变换）的方法把原始特征变换为较少的新特征PCA(PrincipleComponentAnalysis)方法：进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。希望找到一种能量最为集中的的变换方法使损失最小。K-L(Karhunen-Loeve)变换：最优正交线性变换，相应的特征提取方法被称为PCA方法特征值特征向量K-L变换离散K-L变换：对向量x用标准正交向量系uj进行线性变换，得到新的向量Y.经过K－L变换组合，输出Y的各分量之间将具有最小的相关性.特征提取离散K-L变换的均方误差用有限项估计x：该估计的均方误差：特征提取因为uj是确定性向量，所以

4、有求解最小均方误差正交基用Lagrange乘子法，可以求出满足正交条件下的ε取极值时的坐标系统：结论：以相关矩阵R的d个特征向量uj为基向量来展开x时，其截断均方误差取得最小值为：K-L变换：当取矩阵R的d个最大特征值对应的特征向量来展开x时，其截断均方误差最小。这d个特征向量组成的正交坐标系称作x所在的D维空间的d维K-L变换坐标系，x在K-L坐标系上的展开系数向量y称作x的K-L变换特征提取K-L变换的表示K-L变换的向量展开表示：K-L变换的矩阵表示：特征提取K-L变换的性质y的相关矩阵是对角矩阵：特征提取K-L变换的性质K-L坐标系把矩阵R对角化，即通过K-L变换消除原有

5、向量x的各分量间的相关性，从而有可能去掉那些带有较少信息的分量以达到降低特征维数的目的特征提取主成分分析(PCA)主分量分析（PrimaryComponentAnalysis,PCA）就是基于K-L变换的提取图像特征的一种最优正交线性变换，可以有效去掉一个随机向量中各元素间的相关性。PCA的目的：寻找能够表示采样数据的最好的投影子空间.PCA的求解：特征向量常被叫做“主分量”，每个样本被它在前几个主分量上的投影近似表示，U张成的空间称为原空间的子空间，PCA实际上就是在子空间上的投影.从几何意义来看，变换后的主分量空间坐标系与变换前的空间坐标系相比旋转了一个角度。而且新坐标系的坐标轴

6、一定指向数据信息量较大的方向。以二维空间为例，假定某样本的分布呈椭圆状，那么经过旋转后，新坐标系的坐标轴一定分别指向椭圆的长半轴和短半轴方向——主分量方向，因为长半轴这一方向的信息量最大。x1x2u2u1主成分是这个椭圆的「长轴」方向。短轴的方向和长轴垂直，是「第二个」主成分的方向。变换后的各分量，它们所包括的信息量不同，呈逐渐减少趋势。事实上，第一主分量集中了最大的信息量，常常占80％以上。第二、三主分量的信息量依次很快递减，到了第n分量，信息几乎为零。PrincipalcomponentPCA对于椭球状分布的样本集有很好的效果,学习所得的主方向就是椭球的主轴方向.PCA是一种非监督

7、的算法,能找到很好地代表所有样本的方向,但这个方向对于分类未必是最有利的人脸识别就是将已检测到的待识别人脸与数据库中的已知人脸进行比较匹配，得出相关信息，来鉴别该人是谁。这一过程的核心是选择恰当的人脸表征方式与匹配策略，即选择合适的人脸模式的特征，根据所提取的特征进行匹配。人脸图像所包含的模式特征十分丰富,它不仅包括一些能直观感觉到的特征，如肤色、发色等颜色特征，脸的轮廓等轮廓特征，用到的更多的是不能感觉，只能通过变换等处理之后才表现出来的特征