最新主成分分析---多元统计分析课件(人大何晓群)幻灯片.ppt

《最新主成分分析---多元统计分析课件(人大何晓群)幻灯片.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、主成分分析---多元统计分析课件(人大何晓群)2021/8/27中国人民大学六西格玛质量管理研究中心2第五章主成分分析目录上页下页返回结束§5.1主成分分析的基本思想与理论§5.2主成分分析的几何意义§5.3总体主成分及其性质§5.4样本主成分的导出§5.5有关问题的讨论§5.6主成分分析步骤及框图§5.7主成分分析的上机实现2021/8/27中国人民大学六西格玛质量管理研究中心3第五章主成分分析目录上页下页返回结束主成分分析（principalcomponentsanalysis）也称主分量分析，是由霍特林（Hotelling）于1

2、933年首先提出的。主成分分析是利用降维的思想，在损失很少信息的前提下把多个指标转化为几个综合指标的多元统计方法。通常把转化生成的综合指标称之为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，这就使得主成分比原始变量具有某些更优越的性能。这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使问题得到简化，提高分析效率。本章主要介绍主成分分析的基本理论和方法、主成分分析的计算步骤及主成分分析的上机实现。2021/8/27中国人民大学六西格玛

3、质量管理研究中心7目录上页下页返回结束§5.1.1主成分分析的基本思想3.主成分保留了原始变量绝大多数信息4.各主成分之间互不相关通过主成分分析，可以从事物之间错综复杂的关系中找出一些主要成分，从而能有效利用大量统计数据进行定量分析，揭示变量之间的内在关系，得到对事物特征及其发展规律的一些深层次的启发，把研究工作引向深入。2021/8/27中国人民大学六西格玛质量管理研究中心8目录上页下页返回结束§5.1.2主成分分析的基本理论设对某一事物的研究涉及个指标，分别用表示，这个指标构成的维随机向量为。设随机向量的均值为，协方差矩阵为。对进

4、行线性变换，可以形成新的综合变量，用表示，也就是说，新的综合变量可以由原来的变量线性表示，即满足下式：(5.1)2021/8/27中国人民大学六西格玛质量管理研究中心9目录上页下页返回结束§5.1.2主成分分析的基本理论由于可以任意地对原始变量进行上述线性变换，由不同的线性变换得到的综合变量的统计特性也不尽相同。因此为了取得较好的效果，我们总是希望的方差尽可能大且各之间互相独立，由于=而对任给的常数，有2021/8/27中国人民大学六西格玛质量管理研究中心10目录上页下页返回结束§5.1.2主成分分析的基本理论因此对不加限制时，可使任

5、意增大，问题将变得没有意义。我们将线性变换约束在下面的原则之下：1．，即：2．3.是的一切满足原则1的线性组合中方差最大者；是与不相关的所有线性组合中方差最大者；…,是与都不相关的的所有线性组合中方差最大者。2021/8/27中国人民大学六西格玛质量管理研究中心11目录上页下页返回结束§5.1.2主成分分析的基本理论基于以上三条原则决定的综合变量分别称为原始变量的第一、第二、…、第个主成分。其中，各综合变量在总方差中占的比重依次递减，在实际研究工作中，通常只挑选前几个方差最大的主成分，从而达到简化系统结构，抓住问题实质的目的。2021

6、/8/27中国人民大学六西格玛质量管理研究中心12目录上页下页返回结束§5.2主成分分析的几何意义由第一节的介绍我们知道，在处理涉及多个指标问题的时候，为了提高分析的效率，可以不直接对个指标构成的维随机向量进行分析，而是先对向量进行线性变换，形成少数几个新的综合变量，使得各综合变量之间相互独立且能解释原始变量尽可能多的信息，这样，在以损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。这一节，我们着重讨论主成分分析的几何意义，为了方便，我们仅在二维空间中讨论主成分的几何意义，所得结论可以很容易地扩展到多维的情况。20

7、21/8/27中国人民大学六西格玛质量管理研究中心13目录上页下页返回结束§5.2主成分分析的几何意义设有个样品，每个样品有两个观测变量，这样，在由变量组成的坐标空间中，个样品点散布的情况如带状，见图5-1。图5-12021/8/27中国人民大学六西格玛质量管理研究中心14目录上页下页返回结束§5.2主成分分析的几何意义由图可以看出这个样品无论沿轴方向还是沿轴方向均有较大的离散性，其离散程度可以分别用观测变量的方差和的方差定量地表示，显然，若只考虑和中的任何一个，原始数据中的信息均会有较大的损失。我们的目的是考虑和的线性组合，使得原始

8、样品数据可以由新的变量和来刻画。在几何上表示就是将坐标轴按逆时针方向旋转角度，得到新坐标轴和，坐标旋转公式如下：2021/8/27中国人民大学六西格玛质量管理研究中心15目录上页下页返回结束§5.2主成分分析的几何意义其