特征提取与选择教学文案.ppt

《特征提取与选择教学文案.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、特征提取与选择第五章特征选择和提取特征选择和提取重要性在很多实际问题中，往往不容易找到那些最重要的特征，或受客观条件的限制，不能对它们进行有效的测量；因此在测量时，由于人们心理上的作用，只要条件许可总希望把特征取得多一些；另外，由于客观上的需要，为了突出某些有用信息，抑制无用信息，有意加上一些比值、指数或对数等组合计算特征；如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影响到分类的效果，产生“特征维数灾难”问题。第五章特征选择和提取为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，

2、经过选择或变换处理，组成有效的识别特征；在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类。为达到上述目的，关键是所提供的识别特征应具有很好的可分性，使分类器容易判别。为此，需对特征进行选择。应去掉模棱两可、不易判别的特征；所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。第五章特征选择和提取说明实际上，特征选择和提取这一任务应在设计分类器之前进行。第五章特征选择和提取所谓特征选择，就是从n个度量值集合{x1,x2,…,xn}中，按某一准则选取出供分类

3、用的子集，作为降维（m维，m

4、章特征选择和提取以细胞自动识别为例(续)这样产生出来的原始特征可能很多（几十甚至几百个），原始特征空间维数很高，需要降低维数以便分类；一种方式是从原始特征中挑选出一些最有代表性的特征，称为特征选择；另一种方式是用映射（或变换）方法把原始特征变换为较少的特征，称为特征提取。5.1模式类别可分性的测度距离和散布矩阵[点到点之间的距离][点到点集之间的距离][类内距离]5.1模式类别可分性的测度距离和散布矩阵[类内散布矩阵]对属于同一类的模式样本，类内散布矩阵表示各样本点围绕其均值周围的散布情况，这里即为该分布的协方差矩阵

5、。[类间距离和类间散布矩阵][多类模式集散布矩阵]以上各类散布矩阵反映了各类模式在模式空间的分布情况，但它们与分类的错误率没有直接联系。（若与分类错误率联系起来，可采用散度作为类别可分性的度量）5.2特征选择设有n个可用作分类的测量值，为了在不降低（或尽量不降低）分类精度的前提下，减小特征空间的维数以减少计算量，需从中直接选出m个作为分类的特征。问题：在n个测量值中选出哪一些作为分类特征，使其具有最小的分类错误？5.2特征选择从n个测量值中选出m个特征，一共有中可能的选法。一种“穷举”办法：对每种选法都用训练样本试分

6、类一下，测出其正确分类率，然后做出性能最好的选择，此时需要试探的特征子集的种类达到种，非常耗时。需寻找一种简便的可分性准则，间接判断每一种子集的优劣。对于独立特征的选择准则一般特征的散布矩阵准则5.2特征选择对于独立特征的选择准则类别可分性准则应具有这样的特点，即不同类别模式特征的均值向量之间的距离应最大，而属于同一类的模式特征，其方差之和应最小。假设各原始特征测量值是统计独立的，此时，只需对训练样本的n个测量值独立地进行分析，从中选出m个最好的作为分类特征即可。[例：对于i和j两类训练样本的特征选择]5.2特征

7、选择讨论：上述基于距离测度的可分性准则，其适用范围与模式特征的概率分布有关。三种不同模式分布的情况(a)中特征xk的分布有很好的可分性，通过它足以分离i和j两种类别；(b)中的特征分布有很大的重叠，单靠xk达不到较好的分类，需要增加其它特征；(c)中的i类特征xk的分布有两个最大值，虽然它与j的分布没有重叠，但计算Gk约等于0，此时再利用Gk作为可分性准则已不合适。因此，假若类概率密度函数不是或不近似正态分布，均值和方差就不足以用来估计类别的可分性，此时该准则函数不完全适用。5.2特征选择一般特征的散布矩阵准

8、则[类内、类间和总体的散布矩阵Sw、Sb和St]Sw的行列式值越小且Sb的行列式值越大，可分性越好。[散布矩阵准则J1和J2形式]使J1或J2最大的子集可作为所选择的分类特征。注：这里计算的散布矩阵不受模式分布形式的限制，但需要有足够数量的模式样本才能获得有效的结果。作业设有如下三类模式样本集ω1，ω2和ω3，其先验概率相等，求Sw和Sbω1：