《wk主成分分析》PPT课件

《《wk主成分分析》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数学方法在信息处理中的应用史振威北京航空航天大学宇航学院图像中心shizhenwei@buaa.edu.cn第二章主成分分析(第一部分)纲要引言基本数学工具主成分分析（PrincipalComponentAnalysis，PCA）流程2引言主成分分析（PrincipalComponentAnalysis，PCA）作为十分有用的技术，已经在信息处理的很多应用领域中得到了广泛的应用，现在可以看作是标准的统计方法。经常用在高维数据的降维处理中，如数据可视化。其它应用如人脸识别、数据压缩等领域。3引言参考文献：1、Lindsa

2、yISmith，AtutorialonPrincipalComponentsAnalysis，20022、JonShlens，ATUTORIALONPRINCIPALCOMPONENTANALYSIS--Derivation,DiscussionandSingularValueDecomposition，20034基本数学工具1、概率统计基础：概率统计的所针对的对象是数据，研究数据所具有的统计性质。以选举作为例子，所有人民是一个集合整体，一部分有代表性的人所组成的集合为一个子集，子集中的元素，如一个人，相当于一个样本。

3、其它例子：灯泡、火柴等。5基本数学工具1、概率统计基础：样例：对于这样的数据，我们可以计算它的一些统计量来分析它的统计性质。如：样本均值可以告诉我们数据的平均情况。6基本数学工具1、概率统计基础：但样本均值不能告诉我们更多。如：这两个数据集有什么不同？数据的“延展性不同”，可用统计量样本的标准方差来度量：78基本数学工具1、概率统计基础：第一个样本集的标准方差来得大，因为样本更远离样本均值。考虑如下数据集（均值也为10）：其标准方差为0。9基本数学工具1、概率统计基础：标准方差的平方称为方差，度量数据与均值的偏移。思考

4、：方差和标准方差有什么异同？10基本数学工具1、概率统计基础：以上统计量相当于一维统计量，只描述了数据统计特征的一个方面。如：大家的身高可以作为一个统计特征（可以计算均值和方差）；学习成绩可以作为一个统计特征（可以计算均值和方差），那么这两个特征之间有没有联系，如何联系？即，身高和学习成绩之间有没有统计关系？11基本数学工具协方差是这样的一个统计量，可以度量不同特征之间的关系。协方差是度量两个特征之间的关系的统计量。公式与方差非常相似（下面公式中X和Y是不同的特征）。方差：协方差：12基本数学工具举一个例子，同学们选学

5、这门课，用了多少时间最后得到了多少成绩？这相当于一个二维数据。第一维是时间，用H表示；第二维是成绩，用M表示。13基本数学工具计算时间和分数之间的协方差计算结果说明了什么？相关性：正相关、负相关正负相关往往比具体的数值更能说明问题。14基本数学工具15基本数学工具特征多于二维怎么办？16基本数学工具协方差矩阵：如果特征是n维，协方差矩阵将是一个n行n列的矩阵（对称矩阵）。如三维数据集x,y,z17基本数学工具2、矩阵代数：特征值和特征向量（哪个是？）：18基本数学工具2、矩阵代数：特征值和特征向量：x是特征向量；是特征

6、值。集合意义：坐标轴变换。特征向量之间是正交的（垂直的）。19基本数学工具2、矩阵与向量计算（基本）：20基本数学工具2、矩阵与向量计算（基本）：21基本数学工具2、矩阵与向量计算（微分）：22基本数学工具2、矩阵与向量计算（行列式微分）：23基本数学工具2、矩阵与向量计算（逆矩阵微分）：24基本数学工具2、矩阵与向量计算（微分）：25基本数学工具2、矩阵与向量计算（微分）：26基本数学工具2、矩阵与向量计算（微分）：假设W是对称矩阵：27基本数学工具3、最优化方法：无约束最优化问题：minf(x)平稳点满足：28基本

7、数学工具3、最优化方法：约束最优化问题：minf(x)s.t.b(x)=0转化为无约束问题：min是拉格朗日乘子。平稳点满足：29主成分分析（PCA）过程PrincipalComponentAnalysis主要优点：1、由高维数可以降到低维数，即降维，便于数据可视化。2、可进行数据压缩。下面，主要叙述PCA的计算过程，使大家有一个直观印象。具体算法得到过程后面再讲。30主成分分析（PCA）过程第一步：获得数据。所要处理的数据如下：31主成分分析（PCA）过程第二步：减去均值，使数据的均值为零。每一维数据都要减去每一维的

8、均值。原始数据变为右侧零均值化的数据。32主成分分析（PCA）过程第三步：计算协方差矩阵。既然原始数据是二维的，协方差矩阵是矩阵。x和y是正相关的。33主成分分析（PCA）过程第四步：计算协方差矩阵的特征值和特征向量。特征值和特征向量代表了数据的有用信息。注意特征向量都是单位化，即长度为1，且相互正交。34主成分分析（PCA）过程