第五章 特征选择（降维）.doc

《第五章 特征选择（降维）.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第五章特征选择（降维）§4分散度类别可分离分散度降低不大，则认为降维有效1]分散度的概念解释A．若j固定，则越大，越容易把i类与j类区分开来对于从i来的x，把i类和j类分开的平均信息对于从j来的x，把j类和i类分开的平均信息第i类与第j类分开的总的平均分类信息解释B．2]正态分布时分散度公式其中:积分后变为等协方差等期望，3]分散度的性质1）（当且仅当i=j，反身性）2）（对称性）3）若X的各个分量独立，则分散度为各个分量分散度之和4）若X的各个分量不独立，则加一个分量，分散度只增不减（a）（b）（c）性质：1）2）3）=总的分散度=各个分量分散度之和（前提：各分量独立）

2、4]分散度用于特征选择优于(1)简单的从n个特征中挑选m个，不做任何变换例：卫星照片，4个谱4个光谱下的反射系数，从中挑2个谱来分类后，共M类还能分开解：(1)M类估计计算次，找出最小的，即靠的最近的两类(2)降维，降成二维各种降维可能组合中取max，此时的m,C取相应的行和列构成。如；则挑选；舍去如果分散度还是很大，则降维效果很好，如果变得很小，则考虑降成三维(2)正态分布,各类协方差相等,把坐标转到C的特征向量位置后进行降维把坐标转到C的特征向量位置，即变换矩阵由协方差矩阵的特征向量作为行向量构成。即：C：，取大的，舍弃小的。（不考虑分子，同于与聚类变换。）为在方向上

3、投影长度的平方。两中心距离为(3)最佳变换阵A的求法正态其中：1）2）3）解：A.【结论】在协方差相等的情况下，可以降到1维也不减少分散度。证：设：则：代入G＝0得是非零特征值对应的特征向量。验证：B.【结论】变换矩阵可以由的特征矢量中任取m个来构成。证：有：又：且故取，其中1为第k个分量得：证毕。怎么构成？其中是的特征值（是可求得）选取中使得最大的m个特征值的特征向量构成A.