应用多元统计分析课件 06. 主成分分析.ppt

《应用多元统计分析课件 06. 主成分分析.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1应用多元统计分析第六章主成分分析2在经济统计分析中，经济效益的综合评价、地区经济发展水平的评价、区域经济发展竞争力的评价、人民生活水平、生活质量的评价等。在这些问题研究中，一方面，为了避免遗漏重要信息，我们考虑尽可能多地引入研究变量，而另一方面，随着研究涉及变量的增多，变量之间的相关性造成信息重叠，势必增加了分析问题的复杂性。第六章主成分分析3主成分分析是研究如何将多个变量转化为少数几个综合变量(主成分)的一种统计降维技术。这种技术使得转化出来的综合变量既能够代表原始变量的绝大多数信息的同时，又互不相关。这就使

2、得综合变量比原始变量具有更为优越的统计分析性能。第六章主成分分析4本章主要讨论：●主成分分析的基本理论●主成分分析的方法●主成分分析的计算步骤●主成分分析的软件实现应用分析第六章主成分分析5第一节主成分分析的基本理论本节基本内容一、主成分分析的基本思想二、数学表述三、主成分分析的几何解释6一、主成分分析的基本思想主成分概念首先是由皮尔逊(KarlParson)在1901年针对非随机变量引进，1933年霍特林(Hotelling)将这个概念推广到随机变量。主成分分析要做的是将原来众多具有一定相关性的变量，重新组合为

3、一组新的相互无关的综合变量(主成分)来代替原始变量。7每个主成分是各原始变量的线性组合各个主成分之间互不相关主成分的数目大大小于原始变量的数目主成分保留了原始变量的绝大多数信息一、主成分分析的基本思想利用主成分分析得到的主成分和原始变量之间存在如下关系：8可以考虑如下构造主成分的思路：一、主成分分析的基本思想将选取的第一个线性组合即第一个综合变量记为，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即越大，表示包含的信息越多。9因此，在所有的线性组合中所选取的应该是方差最大的，包含信息是最多的。

4、如果第一个综合变量不足以代表原来个变量的信息，再考虑选取即第二个线性组合，为了有效地反映原来信息，已有的信息就不需要再出现在中，用数学语言表达就是要求，在这样的条件下，让达到最大。依此类推可构造出第三，四，……，第个综合变量。我们把这些综合变量称为主成分。一、主成分分析的基本思想10二、主成分分析的数学表述假设对某一事物的研究涉及个随机变量，其构成的维随机向量记为，并记随机向量的均值为，协差阵为。11主成分分析就是通过线性变换，将个随机变量表述为个新的随机变量，即二、主成分分析的数学表述12矩阵表示为：其中二、主

5、成分分析的数学表述13由于对原始变量进行线性变换可以是任意的，则由不同线性变换得到的综合变量也不尽相同。为了取得较好的变换效果，我们总是希望的方差尽可能大，且各()之间相互独立。二、主成分分析的数学表述14若向量满足上式最大化要求，且使得各之间相互独立，则对于任意给定常数，有同样能满足这些条件。因此对不加限制时，可使得任意变化，问题变得没有意义。二、主成分分析的数学表述15(1)，即()。(2)与不相关，即(3)二、主成分分析的数学表述将线性变换约束在下面的原则下：16原则(1)：保证了原始变量与综合变量(主成分

6、)包含相同的信息(不改变方差)；原则(2)：保证了主成分不重复原始变量中的信息；原则(3)：保证了各主成分在总方差中所占的比重依次递减，这使得实际工作中只挑选前几个方差最大的主成分代替原始变量成为可能。二、主成分分析的数学表述17三、主成分分析的几何解释从代数角度讲，主成分就是个变量的一些特殊线性组合。而从几何的观点看，这些线性组合运算是把构成的坐标系旋转一定角度，产生新的坐标系。18假设有个样品，每个样品对应两个变量和，在由变量和形成的直角坐标系中，设个样品的散点图大致形成一个椭圆三、主成分分析的几何解释19根

7、据线性代数正交旋转的知识，坐标旋转公式为：写成矩阵形式为：或者其中为坐标旋转变换矩阵。容易验证，为正交矩阵，即有，。三、主成分分析的几何解释20经过旋转变换后，得到的新坐标三、主成分分析的几何解释21第二节总体主成分的导出及其性质本节基本内容：一、引理二、总体主成分的导出三、总体主成分的性质四、相关阵出发求解主成分22一、引理引理：设为阶实对称矩阵，为的第大特征根，其对应的标准正交特征向量为()，则对于任意非零维向量，有上式中，右边等号当时成立，左边等号当时成立，为非零常数。23进一步记表示由生成的空间，则上式在

8、时达到最大值，其中为非零常数。一、引理24二、总体主成分的导出其中寻找的线性组合，使得该线性组合的方差达到最大。且满足，。根据引理，可以对主成分的导出过程进行解释。根据主成分表达式，主成分的求解问题可描述为：25由于协差阵为非负定实对称矩阵，其特征根为，记为各特征根对应的标准正交特征向量，显然有当时，有且等号在时能够达到。二、总体主成分的导出26由于达到最大。根据前面对主