多重共线性的情形及其处理.doc

《多重共线性的情形及其处理.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、多重共线性的情形及其处理一、多重共线性对回归模型的影响设回归模型存在完全的多重共线性，即对设计矩阵X的列向量存在不全为零的一组数，使得：（），此时设计矩阵X的秩Rank(X)

2、

3、=0,正规方程组=的解不唯一，不存在，回归参数的最小二乘估计表达式不成立。在实际问题研究当中，，虽然Rank(X)=p+1成立，但是

4、

5、0，的对角线元素很大，的方差阵的对角线元素很大，而的对角线元素即为,,…,，因而的估计精度很低，这样，虽然OLSE能得到的无偏估计，但估计量的方差很大，不能正确判断解释变量对被解

6、释变量的影响程度。例如在二元回归中，假定y与，都已经中心化，此时回归常数项为零，回归方程为，由此可以得到,，其中，，则，之间的相关系数。随着自变量与的相关性增强，和的方差将逐渐增大。当与完全相关时，r=1，方差将变为无穷大。当给定不同的值时，从下表可以看出方差增大的速度。为了方便，假设，相关系数从0.5变为0.9时，回归系数的方差增加了295%，相关系数从0.5变为0.95时，回归系数的方差增加了670%、当回归自变量与相关程度越高，多重共线性越严重，那么回归系数的估计值方差就越大，回归系数的置信区间

7、就变得很宽，估计的精确性就大幅度降低，使估计值稳定性变得很差，进一步致使在回归方程整体高度显著时，一些回归系数则通不过显著性检验，回归系数的正负号也可能出现倒置，使得无法对回归方程得到合理的经济解释，直接影响到最小二乘法的应用效果，降低回归方程的价值。如果利用模型去作经济结构分析，要尽可能避免多重共线性；如果是利用模型去作经济预测，只要保证自变量的相关类型在未来时期中保持不变，即未来时期自变量间仍具有当初建模时数据的联系特征，即使回归模型中包含有严重多重共线性的变量也可以得到较好的预测结果；如果不能保

8、证自变量的相关类型在未来时期中保持继续不变，那么多重共线性就会对回归预测产生严重的影响。二、多重共线性的诊断1、方差扩大因子法对自变量作中心标准化，则为自变量的相关阵，记称其主对角线元素为自变量的方差扩大因子。（），其中为的离差平方和。记为自变量对其余p-1个自变量的复决定系数，则有，该式子同样也可以作为方差扩大因子的定义。由于度量了自变量与其余p-1个自变量的线性相关程度，这种相关程度越强，说明自变量之间的多重共线性越严重，也就越接近于1，也就越大。由此可见的大小反映了自变量之间是否存在多重共线性，

9、因此可以由它来度量多重共线性的严重程度。经验表明，当10时，就说明自变量与其余自变量之间有严重的多重共线性，且这种多重共线性可能会过度地影响最小二乘估计值。也可以用p个自变量所对应的方差扩大因子的平均数来度量多重共线性，当远远大于1时就表示存在严重的多重共线性问题。对于只含两个解释变量和的回归方程，判断它们是否存在多重共线性，实际上就是计算和的样本决定系数，如果很大，则认为和可能存在严重的多重共线性。为什么说可能存在多重共线性？因为和样本容量n有关，当样本容量较小时，容易接近与1，就像当n=2时，两点

10、总能连成一条直线，=1。所以我们认为当样本容量还不算小，而接近于1时，可以肯定存在多重共线性。当某自变量对其余p-1个自变量的复决定系数超过一定界限时，SPSS软件将拒绝这个自变量进入回归模型。称为自变量的容忍度。下面看一个民航客运实例分析的结果：UnstandardizedCoefficientsStandardizedCoefficientstSig.CollinearityStatisticsBStd.ErrorBetaToleranceVIF(Constant)450.909178.0782.

11、5320.030x10.3540.0852.4474.1520.0020.0011963.000x2-0.5610.125-2.485-4.4780.0010.0011741.000x3-0.0070.002-0.083-3.5100.0060.3153.171x421.5784.030.5315.3540.0000.01855.488x50.4350.0520.5648.4400.0000.04025.193a.DependentVariable:y从上面共线性诊断的分析结果可以看到，的方差扩大因子

12、很大，分别为=1963,=1741,远远超过10，说明民航客运量回归方程也存在这严重的多重共线性。和的简单相关系数为0.9989，高度相关。一般情况下，当一个回归方程存在严重的多重共线性时，有若干个自变量所对应的方差扩大因子大于10，这个回归方程多重共线性的存在就是方差扩大因子超过10的这几个变量引起的，说明这几个自变量间有一定的多重共线性关系存在。2、特征根判定法当矩阵有一个特征根近似为零时，设计矩阵X的列向量间必存在多重共线性，并且有多少个特征根接近