成分分析与核函数

《成分分析与核函数》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第八章成分分析与核函数8.0问题的提出降低特征维数:DimensionReduction提高泛化能力：减少模型的参数数量；减少计算量：主要方法：主成分分析(PCA):PrincipleComponentAnalysis判别分析(FDA)：FisherDiscriminantAnalysis独立成分分析(ICA):IndependentComponentAnalysis…人脸识别举例8.1主成分分析（PCA，PrincipalComponentAnalysis）PCA：是一种最常用的线性成分分析方法；PCA的主要思想：寻找到数据的主轴方向，由主轴构

2、成一个新的坐标系（维数可以比原维数低），然后数据由原坐标系向新的坐标系投影。PCA的其它名称：离散K-L变换，Hotelling变换；PCA的思想v1v2e1e2PCA的思想v1v2e1e2PCA算法利用训练样本集合计算样本的均值m和协方差矩阵S；计算S的特征值，并由大到小排序；选择前d’个特征值对应的特征矢量作成一个变换矩阵E=[e1,e2,…,ed’]；训练和识别时，每一个输入的d维特征矢量x可以转换为d’维的新特征矢量y：y=Et(x-m)。PCA的讨论正交性：由于S是实对称阵，因此特征矢量是正交的；不相关性：将数据向新的坐标轴投影之后，特

3、征之间是不相关的；特征值：描述了变换后各维特征的重要性，特征值为0的各维特征为冗余特征，可以去掉。例8.1有两类问题的训练样本：将特征由2维压缩为1维。x1x2e1e2特征人脸e1e2e3e4e5e6e7e8PCA重构原图像d’=151020501002008.2多重判别分析（MDA,MultipleDiscriminantAnalysis）x1x2e1e2MDA与PCAPCA将所有的样本作为一个整体对待，寻找一个均方误差最小意义下的最优线性映射，而没有考虑样本的类别属性，它所忽略的投影方向有可能恰恰包含了重要的可分性信息；MDA则是在可分性最大

4、意义下的最优线性映射，充分保留了样本的类别可分性信息；MDA还被称为：FDA(FisherDiscriminantAnalysis)或LDA(LinearDiscriminantAnalysis)。Fisher线性判别准则样本x在w方向上的投影：类内散布矩阵：类间散布矩阵：Fisher线性判别准则：wFDA算法利用训练样本集合计算类内散度矩阵Sw和类间散度矩阵SB；计算Sw-1SB的特征值；选择非0的c-1个特征值对应的特征矢量作成一个变换矩阵W=[w1,w2,…,wc-1]；训练和识别时，每一个输入的d维特征矢量x可以转换为c-1维的新特征矢量

5、y：y=Wtx。3类问题FDAFDA的讨论非正交：经FDA变换后，新的坐标系不是一个正交坐标系；特征维数：新的坐标维数最多为c-1，c为类别数；解的存在性：只有当样本数足够多时，才能够保证类内散度矩阵Sw为非奇异矩阵（存在逆阵），而样本数少时Sw可能是奇异矩阵。8.3成分分析的其它问题独立成分分析(ICA,IndependentComponentAnalysis)：PCA去除掉的是特征之间的相关性，但不相关不等于相互独立，独立是更强的要求。ICA试图使特征之间相互独立。多维尺度变换(MDS,MultidimensionalScaling)典型相关

6、分析(CCA,CanonicalCorrelationAnalysis)偏最小二乘(PLS,PartialLeastSquare)线性PCA的神经网络实现8.4核函数及其应用空间的非线性映射建立一个R2R3的非线性映射计算R3中2个矢量的内积：定义核函数：，则：输入空间特征空间核函数启示：特征空间中两个矢量之间的内积可以通过定义输入空间中的核函数直接计算得到。实现方法：不必定义非线性映射Φ而直接在输入空间中定义核函数K来完成非线性映射。应用条件：定义的核函数K能够对应于特征空间中的内积；识别方法中不需要计算特征空间中的矢量本身，而只须计算特征空

7、间中两个矢量的内积。Hibert-Schmidt理论作为核函数应满足如下条件：是下的对称函数，对任意，且有：成立，则可以作为核函数。此条件也称为Mercer条件。常用的核函数GaussianRBF：Polynomial：Sigmoidal：Inv.Multiquardric：核函数应用于线性分类器（SVM的非线性版本）SVM的求解，最后归结为如下目标函数的优化：可以引入非线性映射Φ，则目标函数变为：而权矢量为：判别函数：支持矢量机的实现核函数应用于PCA（KPCA）训练样本集合。定义核函数；计算维矩阵K，其元素：然后计算矩阵K的特征值和特征向量

8、，保留其中的非0的特征值；特征空间中的第i个主轴基向量为：输入特征矢量x在特征空间中第i个轴上的投影：非线性PCA的神经网络实现