主成分分析和因子分析-回归分析和相关分析的区别

《主成分分析和因子分析-回归分析和相关分析的区别》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、主成分分析和因子分析-回归分析和相关分析的区别主成分分析和因子分析的区别通过主成分分析所得來的新变量是原始变量的线性组合，每个主成分都是由原有P个变量线组合得到，在诸多主成分z中，Z1在总方差中占的比重最大，说明它综合原冇变量的能力最强，其余主成分在总方差中占的比重依次递减，说明越往后的主成分综合原信息的能力越弱。以后的分析可以用前面几个方差最大的主成分来进行，一般情况下，耍求前几个z所包含的信息不少于原始信息的85%,这样既减少了变量的数目，乂能够用较少的主成分反映原有变量的绝大部分信息。如利川主成分來消除多元回归方程的多重共线性，利用主成

2、分來筛选多元线性凹归方程中的变量等。通过因子分析得來的新变量是对每一个原始变量进行内部剖析。打比喻來说，原始变量就如成千上万的糕点，每一种糕点的原料都有而粉、油、糖及相应的不同原料，这其中，而粉、油、糖是所有糕点的共同材料，这止好象是因子分析中的新变量即因子变量。止确选择因子变量后，如果想考虑成T上万糕点的物价变动，只需重点考虑而粉、汕、糖等公共因了的物价变动即町。所以因了分析不是对原始变量的重新组介，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。即因子分析就是要利用少数几个公共因子去解释较多个耍观测变量中存在的复朵关系，它把原始变

3、量分解为两部分因素，一部分是由所有变量共同具有的少数几个公共因了构成的，另一部分是每个原始变量独自具有的因素，即特殊因子。1、因子分析屮是把变量表示成各因子的线性组合，而主成分分析屮则是把主成分表示成各个变量的线性组合。在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为xl,x2,..・，x3,经过坐标变换，将原有的p个相关变量xi作线性变换,每个主成分都是由原有P个变量线性组合得到。在诸多主成分Zi屮,Z1在方差屮片的比重最大，说明它综合原冇变量的能力最强，越往后主成分在方差中的比重也小，综合原信息的能力越弱。2、主成分分析

4、的重点在于解释各变量的总方差，而因子分析则把重点放在解释各变量Z间的协方差。3、主成分分析中不需要有假设(assumptions),因子分析则需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子(specificfactor)之间也不相关，共同因子和特殊因子之间也不相关。4、主成分分析屮，当给定的协方差矩阵或考相关矩阵的特征值是唯一的时候，主成分一般是独特的；而因了分析中因了不是独特的，可以旋转得到不到的因了。5、在因了分析中，因了个数需要分析者指定(spss根据一定的条件自动设定，只要是特征值人于1的因子进入分析)，而指定的因

5、子数量不同而结果不同。在主成分分析中，成分的数量是一定的，一般有儿个变量就有儿个主成分。和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。人致说來，当需要寻找潜在的因子，并对这些凶子进行解释的时候，更加倾向于使川因子分析，并且借助旋转技术帮助史好解释。而如果想把现冇的变量变成少数几个新的变量（新的变量儿乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这中情况也可以使用因了得分做到。所以这种区分不是绝对的。总得来说，主成分分析主要是作为一种探索性的技术，在分析者进行多元数据分析Z前，用主成

6、分分析來分析数据，让自己对数据有一个人致的了解是非常垂要的。主成分分析一般很少单独使用：1）、了解数据（screeningthedata）；2）、^11clusteranalysis-起使用；3）、和判别分析一•起使用，比如当变量很多，个案数不多，直接使用判别分析可能无解，这时候可以使用主成分分析对变量简化（reducedimensionality）；4）、在多元冋归中，主成分分析可以帮助判断是否存在共线性（条件指数CI）,述可以用來处理共线性。在算法上，主成分分析和因子分析很类似，不过，在因子分析中所采用的协方差矩阵的对角元索不再是变量的方

7、差，而是和变量对应的共同度（变量方差屮被各因子所解释的部分）。应用中的优缺点比较（一）主成分分析1、优点。首先它利用降维技术用少数几个综合变量來代替原始多个变量，这些综合变量集小了原始变量的人部分信息。其次它通过计算综合主成分函数得分，对客观经济现象进行科学评价。再次它在应用上侧重于信息贡献影响力综合评价。2、缺点。当主成分的因子负荷的符号有止有负时，综合评价函数意义就不明确。命名清晰性低。（二）因子分析1、优点:笫一它不是对原有变量的取舍，而是根据原始变量的信息进行重新组合，找出影响变量的共同因子，化简数据;笫二,它通过旋转使得因子变量更具

8、冇可解释性，命名清晰性高。2、缺点:在计算因子得分时,采用的是最小二乘法，此法有时可能会失效。凹归分析和相关分析的区别回归分析和相关分析是互相补充、密切联系的，相关