数学建模：主成分分析.ppt

《数学建模：主成分分析.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、主成分分析Principalcomponentanalysis主成分分析的基本思想主成分数学模型与几何解释主成分的推导主成分分析的应用主成分回归主成分分析，是一种通过降维来简化数据结构的方法：把多个变量化为少数几个综合变量（综合指标），而这几个综合变量可以反映原来多个变量的大部分信息,（85%以上），所含的信息又互不重叠，即各个指标它们之间要相互独立，互不相关。主成分分析主要起着降维和简化数据结构的作用。这些综合变量就叫因子或主成分，它是不可观测的，即它不是具体的变量,只是几个指标的综合。§1基本思想例：小学各科成绩的评估可以用下面的综合成绩来体现：

2、a1×语文＋a2×数学＋a3×自然＋a4×社会科学确定权重系数的过程就可以看作是主成分分析的过程，得到的加权成绩总和就相对于新的综合变量——主成分主成分分析法是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。为什么要根据方差确定主成分？情形II下总分的方差为0，显然不能反映三个学生各科成绩各有所长的实际情形，而红色标记的变量对应的方差最大，可反映原始数据的大部分信息对主成分的要求上例可见，用总分有时可以反映原分数表的情况，保留原有信息；有时则把信息丢尽，不能反映原理的情况和差异。根据总分所对应的方差可以确定其代表了多大比例的原始数据

3、（分数）信息。一般来说，我们希望能用一个或少数几个综合指标（分数）来代替原来分数表做统计分析，而且希望新的综合指标能够尽可能地保留原有信息，并具有最大的方差。§2数学模型与几何解释假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，…，Xp，主成分分析就是要把这p个指标的问题，转变为讨论m个新的指标F1，F2，…，Fm(m

4、的情况如椭圆状。如图所示：一、几何解释•••••••••••••••••••••••••••••••••••••平移、旋转坐标轴由图可以看出这n个样本点无论是沿着xl轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl的方差和x2的方差定量地表示。显然，如果只考虑xl和x2中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。如果我们将xl轴和x2轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。Fl轴方向上的离散程度最大，即Fl的方差最大。说明变量Fl代表了原始数据的绝大部分信息，即

5、使不考虑变量F2也无损大局。根据旋转变换的公式：其中这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。二、数学模型这就是正交旋转变换矩阵满足如下的条件：主成分之间相互独立，即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即每个主成分的系数平方和为1。即假设p个原始变量的协方差阵为:这是个什么矩阵？对角线外的元素不为0意味着什么？对角线外的元素不全为0，意味着原始变量x1,x2,…,xp存在相关关系。如何运用主成分分析将这些具有相关关系的变量转化为没有相关关系的新变量（主成分）呢？

6、？新变量之间没有相关关系，则意味着它的方差协方差阵为对角矩阵：如何将Σx转化为λ并计算出新变量（主成分）?因为Σx为正定对称矩阵，依据线性代数的知识可知有正交矩阵A将Σx旋转变换为：λ为协方差阵Σx的特征根﹔A为协方差阵Σx的特征根所对应的特征向量。如何计算Σx的特征根λ和特征向量A?Σx的特征根1，2，…，p分别代表主成分F1,F2,……,FP的方差;且12…p正交变换矩阵A是原始变量协方差阵Σx的特征根对应的特征向量，且满足A’A=1.§3主成分的推导（一）第一主成分寻找合适的单位向量，使F1的方差最大。表明：应为的特征值，而

7、为与对应的单位特征向量。而且可见应取的最大特征根。如果第一主成分的信息不够，则需要寻找第二主成分。（二）第二主成分寻找合适的单位向量，使F2的方差最大。用左乘上式，00因而表明：应为的特征值，而为与对应的单位特征向量。而且这时不能再取了，应取。结论：X的协方差矩阵的最大特征根所对应的单位特征向量即为并且就是F1的方差。X的协方差矩阵的第二大特征根所对应的单位特征向量即为。并且就是F2的方差。4确定主成分个数（1）根据累积贡献率当大于某个阈值时（85%以上)，可认为主成分数目为m。（2）根据其它准则*特征值大于1.0的因子数定为主成分数。*(公共因子碎

8、石图）利用特征值与因子数目的曲线，到某一因子数后，特征值减小幅度变化不大，此转折点的因子数即为主成分数m。例