资源描述：
《主成分分析及因子分析.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、主成分分析及因子分析主要内容主成分分析的引入主成分分析的概念总体主成分的因子分析的引入因子分析的概念实际的例子主成分分析的简单历史回顾主成分分析（principalcomponentanalysis,PCA),是Pearcon于1901年首次提出主成分分析的概念。Hotelling在20世纪30年代对主成分分析进行了发展，尤其是计算机出现之后，主成分分析得以广泛的应用。为什么要引入主成分？主成分分析的引入实际中主要存在以下问题：1.在实际问题中变量太多，会导致计算复杂性增加和分析问题较困难2.每个变量都提供信息，但
2、是重要性不同3.每个变量的信息之间存在重叠为了解决上述问题，引入主成分分析。主成分分析是在降维的思想下产生的处理高维数据的方法！主成分分析的基本思想主成分分析的基本思想：用为数较少的互不相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。以下举一个例子来说明这种思想：二元变量X=（X1，X2），对此二维变量进行n次观测，得数据xi=(xi1,xi2)(i=1,2,…,n）主成分分析的引入举例主成分分析的引入举例考虑一种极端情形：即X1和X2的相关系数的绝对值为1，则有xi=(xi1,
3、xi2)(i=1,2,…,n)以概率1分布在一条直线l上，若将原坐标系沿逆时针方向旋转一个角度a得到新的直角坐标系y1oy2,使得坐标轴oy1与l重合，这时观测点xi=(xi1,xi2)(i=1,2,…,n)则可由它们在oy1上的坐标所决定，由解析几何知识可知：这些观测点在oy1上的坐标如下：yi1=xi1cosa+xi2sina，i=1，2，。。。，n主成分分析的引入举例它们是原观测数据的线性组合且在oy1轴上的分散性（即样本方差）达到最大。这相当于对原变量（X1，X2）作适当的线性变换得新的变量Y1，即Y1=X
4、1cosa+X2sina，其中a的选择使得Var（Y1）最大且Y1的相应观测值完全可以反映原二元变量（X1，X2）的观测值的分布状况。总结：一般情况下，我们将ox1轴沿逆时针旋转到观测点具有最大分散性的方向上（如图中oy1的方向），使该方向所含的数据间差异的信息最多。主成分分析的引入举例相应ox2转至oy2方向，设转过的角度为a,则观测点(xi1,xi2）在新坐标系下的坐标为：yi1=xi1cosa+xi2sina，yi2=xi1sina+xi2cosa。这时（yi1，yi2）（i=1，2，…，n）均是相应的原数据
5、的线性变换且完全反映了原始数据的分布情况，但各自反映的是彼此不相关的两个方向上的分散性。我们将相应的变量：Y1=X1cosa+X2sina，Y2=X1sina+X2cosa，分别称为X1和X2的第一和第二主成分。主成分分析的引入举例设想数据在oy2方向上的分散性很小，因而用一元数据{yi1，i=1，2，…,n}便可反映二元数据的绝大部分信息，即可近似用Y1的分布信息近似代替原二维变量（X1，X2）的分布状况。综上述可知，主成分分析即构造原变量的一系列线性组合，使得各线性组合在彼此不相关的前提下尽可能多的反映原变量的
6、信息，即使得其方差最大。总体主成分总体主成分的定义易知有：总体主成分的定义如果我们希望用Y1代替原来p个变量这就要求Y1尽可能得反映原p个变量的信息。这里用“信息”用Y1的方差来度量，即要求达到最大值。同时，我们必须对l1加以限制，否则Var（Y1）无界。最方便的限制是要求l1具有单位长度，即我们在约束条件之下，求l1使达到最大，由此l1所确定的随机变量称为的第一主成分。如果第一主成分Y1还不足以反映原变量的信息，进一步求Y2.为了使Y1和Y2反映原变量的信息不相重叠，要求Y1和Y2不相关，即：总体主成分的定义总体
7、主成分的求法总体主成分的求法总体主成分的求法总体主成分的求法类似可证明，对所有p个主成分，上述结论均成立。由此可得到如下启示：求X的主成分等价于求它的协方差矩阵的各特征值及相应的正交单位化特征向量。按特征值由大到小所对应的正交单位化特征向量为组合系数的的线性组合分别为X的第一、第二、甚至第p个主成分，而各主成分的方差等于相应的特征值。总体主成分的性质1.主成分的协方差矩阵及总方差总体主成分的性质总体主成分的性质2.主成分与变量的相关系数求主成分举例下面通过具体的例子说明求总体主成分的方法：求主成分举例主成分分析的实
8、际应用例：对10名男中学生的身高（X1）、胸围（X2）、和体重（X3）进行测量，得数据如右表所示，对其做主成分分析。序号身高胸围体重1149.569.538.52162.577.055.53162.778.550.84162.287.565.55156.574.549.06156.174.545.57172.076.551.08173.281.559.591
