主成分(修改)教学文案.ppt

《主成分(修改)教学文案.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、主成分(修改)指标化为少数互相无关的综合指标的统计方法叫做主成分分析或称主分量分析。也是数学上处理降维的一种方法，例如，某人要做一件上衣要测量很多尺寸，如身长、袖长、胸围、腰围、肩宽、肩厚等十几项指标，但某服装厂要生产一批新型服装绝不可能把尺寸的型号分得过多？而是从多种指标中综合成几个少数的综合指标，做为分类的型号，利用主成分分析将十几项指标综合成3项指标，一项是反映长度的指标，一项是反映胖瘦的指标，一项是反映特体的指标。在商业经济中用主成分分析可将复杂的一些数据综合成几个商业指数形式，如物价指数、生活费用指数，商业活动指数等等。主成分分析除了可以单独用来处

2、理上面所讨论的这一类问题外，还可以与其它方法结合起来使用，例如与回归分析结合起来就是主成分回归，它可以克服回归问题中由于自变量之间的高度相关而产生的分析困难。2基本思想主成分分析就是设法将原来众多具有一定相关性的指标(比如p个指标)，重新组合成一组新的相互无关的综合指标来代替原来指标。通常数学上的处理就是将原来p个指标作线性组合，作为新的综合指标，但是这种线性组合，如果不加限制，则可以有很多，我们应该如何去选取呢?如果将选取的第一个线性组合即第一个综合指标记F1，自然希望F1尽可能多的反映原来指标的信息，这里的“信息”用什么来表达?最经典的方法就是用F1的方

3、差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中所选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1，F2)＝0，称F2为第二主成分，依此类推可以造出第三，四，…，第p个主成分。不难想像这些主成分之间不仅不相关，而且它们的方差依次递减。因此在实际工作中，就挑选前几个最大主成分，虽然这样做会损失一部分信息，但是由于它使我们抓住了上要矛盾，并从原始数据中进一步提

4、取了某些新的信息，因而在某些实际问题的研究中得益比损失大，这种既减少了变量的数目又抓住了主要矛盾的做法有利于问题的分析和处理。2、主成分分析的数学模型及几何解释（1）、数学模型设有n个样品，每个样品观测p项指标(变量),X1,X2，…，Xp，得到原始数据资料阵：其中用数据矩阵X的p个向量(即p个指标向量)X1，…，Xp作线性组合(即综合指标向量)为：简写成(注意：Xi是”维向量，所以Fi也是n维向量)上述方程组要求：的一切线性组合中方差第P大的。如何求满足上述要求的方程组的系数aij呢?下一节将会看到每个方程式中的系数向量不是别的而恰好是X的协差阵所对应的特

5、征向量；也就是说，数学上可以证明使Var(F1)达到最大，这个最大值是在的第一个特征值所对应特征向量处达到。依此类推使Var(Fp)达到最大值是在的的特征值第p个特征值所对应特征向量处达到。这里要说明两点：一个是数学模型中为什么作线性组合?基于两种原因：①数学上容易处理；②在实践中效果很好。另一个要说明的是每次主成分的选取使Var(Fi)最大，如果不加限制就可使Var(Fi)则就无意义了，而常用的限制是要求（2）、主成分的几何意义从代数学观点看主成分就是p个变量X1…，Xp的一些特殊的线性组合，而在几何上这些线性组合正是把X1，…，Xp构成的坐标系旋转产生的

6、新坐标系，新坐标轴使之通过样品变差最大的方向(或说具有最大的样品方差)。下面以最简单的二元正态变量来说明主成分的几何意义。设有n个样本，每个样本有p个变量记为X1，…，Xp，它们的综合变量记为F1，F2，…，Fp。当p＝2时，原变量是X1，X2，设它们有下图的相关关系：对于二元正态分布变量，n个点的散布大致为一个椭园，若在椭园长轴方向取坐标轴F1，在短轴方向取F2，这相当于在平面上作一个坐标变换，即按逆时针方向旋转角度，根据旋轴变换公式新老坐标之间有关系：我们看到F1，F2是原变量X1和X2的线性组合，用矩阵表示是显然且是正交矩阵，即从上图还容易看出二维平面

7、上的n个点的波动(可用方差表示)大部分可以归结为在F1轴上的波动，而在F2轴上的波动是较小的。如果上图的椭园是相当扁平的，那么我们可以只考虑F1方向上的波动，忽略F2方向的波动。这样一来，二维可以降为一维了，只取第一个综合变量F1即可。而F1是椭园的长轴。设∑的特征根所以有：VarF1≥VarF2≥…≥VarFp>o。在解决实际问题时，一般不是取p个主成分，而是根据累计贡献率的大小取前几个。定义称第一主成分的贡献率为主成分的贡献率就是主成分的方差在全部方差中的比值因此第一3主成分的贡献率个值越大，表明第一主成分综合X1…，Xp信息的能力越强。前两个主成分的累

8、计贡献率定义为前两个主成分的累计贡献率定义为前k个主