主成分分析与因子

《主成分分析与因子》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第11章主成分分析与因子分析《管理统计学》谢湘生广东工业大学管理学院11.1主成分分析主成分概念首先由KarlPearson在1901年引进，当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机变量。在多数实际问题评估中，不同指标之间是有一定相关性。由于指标较多及指标间有一定的相关性，势必增加分析问题的复杂性。主成分分析就是设法将原来指标重新组合成一组新的互不相关的几个综合指标来代替原来指标。同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来的指标的信息。引例一项十分著名的工作是美国的统计学家斯通(Stone)在1947年关于国民经

2、济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。在进行主成分分析后，竟以97.4％的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入i、总收入变化率i以及时间t因素做相关分析，得到下表：F1F2F3i△itF11F201F3001i0.995-0.0410.057l

3、i-0.0560.948-0.124-0.102lt-0.369-0.282-0.836-0.414-0.1121主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。在社会经济的研究中，为了全面系统地分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一定的相关性。主成分分析是考察多个数值变量间相关性的一种多元统计方法。对所导出几个主成分（综合指标），要求尽可能多地保留原始变量的信息，且彼此间不相关。它是研究如何通过少数几个主成分来解释多变量的方差—协方差结构。一般地，利用主成分分析得到

4、的主成分与原始变量之间有下列关系：每一个主成分都是原始变量的线性组合主成分的数目大大少于原始变量的数目主成分保留了原始变量绝大多数信息各主成分之间互不相关11.1.2数学描述随机向量的方差-协方差矩阵所谓随机向量是指其各分量中至少有一个是随机变量的向量。由于在计量经济分析中不可避免地会涉及随机向量，因此下面简单介绍随机向量的特征。设是随机向量。则它的期望值为X的方差（方差—协方差矩阵）为由于通过这一表达式计算得到的矩阵不仅包括方差也包括协方差，所以常称它为方差—协方差矩阵，记为Var-Cov(X)（在不引起混淆的情况下也称为方差矩阵或协方差矩阵，记为Var(X)或C

5、ov(X)).样本描述调查n个个体（样本）在这k(k

6、足Y的协方差矩阵Cov(Y)为对角矩阵，即诸Yi互不相关。Y的方差尽可能大（即，对n个对象的分辨率尽可能强，或者说信息损失尽可能少）。比如使trCov(Y)=trCov(X)，就没有“辨识能力”方面的损失。然后，从Y1,Y2,…,Yk中选出对方差贡献最大的部分指标作为主成分。11.1.3几何解释示例•••••••••••••••••••••••••••••••••••••为了方便，我们在二维空间中讨论主成分的几何意义。设有n个样品，每个样品有两个观测变量Xl和X2，在由变量Xl和X2所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿

7、着Xl轴方向或X2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量Xl的方差和X2的方差定量地表示。显然，如果只考虑Xl和X2中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。如果我们将Xl轴和X2轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴Yl和Y2。Yl和Y2是两个新变量。•••••••••••••••••••••••••••••••••••••平移、旋转坐标轴旋转变换的目的是为了使得n个样品点在Yl轴方向上的离散程度最大，即Yl的方差最大。变量Yl代表了原始数据的绝大部分信息，在研究某经济或管理问题时，即使不考虑变量Y2也无损大