主成分分析(主元分析

《主成分分析(主元分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、PCA原理1因为经常做一些图像和信号处理的工作，要用到主元分析(PrincipalComponentsAnalysis)作为工具。写出來供自己和朋友参考。PCA是一种统计技术，经常应用于人面部识别和图像压缩以及信号去噪等领域,是在高维数据中提取模式的一种常用技术。要了解PCA首先要了解一些相关的数学知识，这里主要介绍协方差矩阵、特征值与特征矢量的概念。I、协方差矩阵协方差总是在两维数据之间进行度量，如果我们具有超过两维的数据，将会有多于两个的协方差。例如对于三维数据(x,y,z维),需要计算cov(x,y),cov(y,z)和cov(z,x)o

2、获得所有维数之间协方差的方法是计算协方差矩阵。维数据协方差矩阵的定义为j=cov(Diint,Dimi))(l)这个公式告诉我们，如果我们有一个n维数据，那么协方差矩阵就是一个n行n列的方矩阵，矩阵的每一个元素是两个不同维数据之间的协方差。它的元素值为:对于一个3维数据(x,y,z),协方差矩阵有3行3列,需要注意的是：沿着主对角线，可以看到元素值是同一维数据之间的协方差，这正好是该维数据的方差。对于其它元素，因为cov(a,b)=cov(b,a),所以协方差矩阵是关于主对角线对称的。coV(:V)cov(”x)COV(N,X)cov(V,V)

3、COV(N」)2、特征值和特征矢量只要矩阵大小合适，就可以进行两矩阵相乘，特征矢量就是其中的一个特例。考虑图2.1中两个矩阵和矢量乘法。厂2■2厂2<2图2.1—个非特征矢量和一个特征矢量的例子图2.22x332-个缩放的特征矢量仍然是一个特征矢量在第一个例子中，结果矢量不是原来因子矢量与整数相乘，然而在第二个例子中,结果矢量是原来因子矢量的4倍，为什么会这样呢？该矢量是一个2维空间矢量,在第一个例子中，结果矢量不是原来因子矢量与整数相乘，然而在第二个例子中,结果矢量是原来因子矢量的4倍，为什么会这样呢？该矢量是一个2维空间矢量,表示从原点(0

4、,0)指向点(3,2)的箭矢。方矩阵因子可以看作是转换矩阵，一个矢量左乘该转换矩阵，意味着原始矢量转换为一个新矢量。特征矢量来自于转换特性。设想一个转换矩阵，如果用其左乘一个矢量，映射矢量是它自身，这个矢量(以及它的所有尺度缩放)就是该转换矩阵的特征矢量。特征矢量有什么特性呢？首先只有方阵才有特征矢量，而且并不是所有方阵都有特征矢量，如果一个nXn方阵有特征矢量，那么它有n个特征矢量。特征矢量的另外一个性质是对特征矢量的缩放会得到缩放前同样地结果，如图2.2所示，这是因为你对矢量的缩放只是改变它的长度，不会改变它的方向。最后，矩阵的所有特征矢量

5、是正交的。这是一个菲常重要的性质，因为这意味着你可以在这些正交矢量上表示一组数据，而不仅是在x和y轴上。在下面的PCA小节内我们将作这个工作。另外一个需要了解的是数学家寻找特征矢量，总喜欢寻找长度为1的那一个特征矢量，这是因为矢量的长度不影响它是否是特征矢量，因此，为了保证特征矢量是标准的矢量，我们通常将特征矢量的长度缩放为1,从而所有的特征矢量都有相同的长度。怎样去找到这些神秘的特征矢量呢？不幸的是，只有对相当小维数的矩阵才有简单地方法，比如不超过3X3,对于较大维数的矩阵，需要复杂的迭代算法。特征值是与特征矢量极其相关的，事实上，在图2.1

6、中我们已经看到了一个特征值。注意在两个例子中，原始矢量左乘方阵后与矢量缩放数一样。在这个例子中,缩放数为4。4就是对应该特征矢量的特征值。不管在左乘方阵之前如何缩放特征矢量，我们总是得到该矢量的4倍（如图2.2）。所以特征值和特征矢量总是成对岀现，当你使用程序计算特征矢量时，你总是同时得到对应的特征值。3、主成分分析（PCA）最后我们将进行主成分分析的介绍，那么什么是主成分分析呢？它是一种在数据屮辨别模式的方法，表达数据的相似与不同Z处的方法。因为高维数据的模式难以发现一一图形表述不可用，PCA是一个有力的数据分析工具。PCA的另外一个重要优势

7、是，一旦你找到了数据的这些模式，你可以压缩它，也就是在不丢失很多信息的基础上，降低数据的维数。在下一节将会看到，这种技术被用于图像压缩。本节将一步一步地带你对一组数据进行PCA操作。我将不具体描述该技术为什么适用，只是介绍怎样使用该技术。§3」方法第一步：获得数据在我简单的例子屮，将使用我自己制作的2维数据，使用2维数据的原因是我可以提供这些数据的图形，以便直观地观察PCA的操作步骤。下面就是我使用的数据x二[2.5,0.5,2.2,1・9,3.1,2.3,2,1,1.5,1.1]Ty二[2.4,0.7,2.9,2.2,3.0,2.7,1.6,

8、1.1,1.6,0.9]T第二步：减去均值要使PCA正常工作，必须减去数据的均值。减去的均值为每一维的平均，所有的x值都要减去，同样所有的y值都要减去