第5章 多重共线性的情形及其处理

《第5章 多重共线性的情形及其处理》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章多重共线性的情形及其处理5.1多重共线性产生的背景和原因及其影响5.2多重共线性的诊断5.3主成分回归5.4岭回归第五章多重共线性的情形及其处理如果存在不全为0的p+1个数c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip=0,i=1,2,…,n（6.1）则称自变量x1,x2,…,xp之间存在着完全多重共线性。在实际经济问题中完全的多重共线性并不多见，常见的是（6.1）式近似成立的情况，即存在不全为0的p+1个数c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip≈0,i=1,2,…,n（6.2）称自变量x1,x2,…,xp

2、之间存在着多重共线性(Multi-collinearity),也称为复共线性。§5.1多重共线性产生的经济背景和原因及其影响在研究社会、经济问题时，因为问题本身的复杂性，设计的因素很多。在建立回归模型时，往往由于研究者认识水平的局限性，很难在众多因素中找到一组互不相关又对因变量y有显著影响的变量，不可避免地出现所选按自变量相关的情形。设回归模型y=β0+β1x1+β2x2+…+βpxp+ε存在完全的多重共线性,即对设计矩阵X的列向量存在不全为零的一组数c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip=0,i=1,2,…,n设计矩阵X的秩rank（X

3、）

4、x′x

5、=0，正规方程组的解不唯一，（x′x）-1不存在，回归参数的最小二乘估计表达式不成立。对非完全共线性,存在不全为零的一组数c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip≈0,i=1,2,…,n例：做y对两个自变量x1,x2的线性回归,假定y与x1,x2都已经中心化，此时回归常数项为零，回归方程为§5.2多重共线性的诊断一、方差扩大因子法对自变量做中心标准化，则X*′X*=(rij)为自变量的相关阵。记C=(cij)=(X*′X*)-1称其主对角线元素VIFj=cjj为自变量xj的方差扩大因子(VarianceInflatio

6、nFactor,简记为VIF)。根据OLS性质3可知，其中Ljj是xj的离差平方和，由（6.6）式可知用cjj做为衡量自变量xj的方差扩大程度的因子是恰如其分的。§5.2多重共线性的诊断§5.2多重共线性的诊断经验表明,当VIFj≥10时,就说明自变量xj与其余自变量之间有严重的多重共线性,且这种多重共线性可能会过度地影响最小二乘估计值。还可用p个自变量所对应的方差扩大因子的平均数来度量多重共线性。当远远大于1时就表示存在严重的多重共线性问题。§5.2多重共线性的诊断§5.2多重共线性的诊断以下用SPSS软件诊断例3.2中国民航客运量一例中的多重共线性问题。§5.2多重共线性的诊断

7、二、特征根判定法（一）特征根分析根据矩阵行列式的性质，矩阵的行列式等于其特征根的连乘积。因而，当行列式

8、X′X

9、≈0时,矩阵X′X至少有一个特征根近似为零。反之可以证明，当矩阵X′X至少有一个特征根近似为零时，X的列向量间必存在复共线性，证明如下：记X=（X0，X1，…，Xp），其中Xi为X的列向量，X0=（1，1，…，1）′是元素全为1的n维列向量。λ是矩阵X′X的一个近似为零的特征根，λ≈0c=(c0,c1,…,cp)′是对应于特征根λ的单位特征向量，则X′Xc=λc≈0上式两边左乘c′，得c′X′Xc≈0从而有Xc≈0即c0X0+c1X1+…+cpXp≈0写成分量形式即为c0+

10、c1xi1+c2xi2+…+cpxip≈0,i=1,2,…,n这正是定义的多重共线性关系。（二）条件数特征根分析表明，当矩阵X′X有一个特征根近似为零时，设计矩阵X的列向量间必存在复共线性。那么特征根近似为零的标准如何确定哪？这可以用下面介绍的条件数确定。记X′X的最大特征根为λm，称为特征根λi的条件数（ConditionIndex）。0＜k＜10时,设计矩阵X没有多重共线性;10≤k＜100时,认为X存在较强的多重共线性;当k≥100时,则认为存在严重的多重共线性。用条件数判断多重共线性的准则对例3.2中国民航客运量的例子，用SPSS软件计算出特征根与条件数如下：方差比例是用

11、于判断哪几个自变量之间存在共线性的。实际上共线性关系可以直接从特征向量看出来，只是SPSS软件在线性回归模块中没有输出特征向量阵。把特征向量按照特征值由大到小排成行向量，每个数值平方后再除以特征值，然后再把每列数据除以列数据之和，使得每列数据之和为1，这样就得到了输出结果6.2的方差比。再次强调的是线性回归分析共线性诊断中设计阵X包含代表常数项的一列1，而因子分析模块中给出的特征向量是对标准化的设计阵给出的，两者之间有一些差异。三、等级相关系数法(Spea