多元线性回归模型变量选择的总偏回归平方和法

《多元线性回归模型变量选择的总偏回归平方和法》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、多元线性回归模型变量选择的总偏回归平方和法【关键词】偏回归平方和；总偏回归平方和；多元线性回归；变量选择　　1问题的提出　　多元线性回归在诸多学科中有广泛应用。在多元线性回归的实际应用中，考虑的自变量Xi(i=1,2,…,m,m为自变量数目或个数)经常包括所有可能影响因变量Y的因素。在众多的Xi中，有的对Y有显著影响，有的影响很小甚至基本无影响。如果把对Y影响小的Xi保留在回归模型中，不仅增加收集数据和分析数据的负担，使得回归方程不稳定，而且会因Xi的数目过多而不便于使用。因此，自变量选择在理论和应用上都十分重要。自变量选择通常有两类方法［1~4］：一是全局择优法，可选出全局“

2、最优”回归模型。该法是对自变量各种不同的组合所建立的回归方程进行比较，进而从全部组合中挑出一个“最优”回归方程。挑选“最优”回归模型的指标一般有R2法、校正R2法、残差均方和或剩余标准差最小法、Cp统计量法、AIC、BIC及AICC信息量准则等。对于给定的方法和准则，“最优”回归方程应从所有可能回归子集(共有2m-1个)选出。问题是，根据不同的方法和准则，选出的“最优”回归模型不一定相同，真正哪个回归模型“最优”，同样面临选择的困难。而且，从所有可能回归子集中选择“最优”回归方程，计算量较大或极大(视m值而定)。二是逐步选择法(包括前进法、后退法和逐步回归法)。每一种逐步选择法

3、选出的“最优”回归方程不一定相同。同一种方法，给定的检验水准α(0.10,0.05,0.01,0.001)不同，选出的“最优”回归方程亦不同。而且，在确定哪些变量应当添加或者剔除时，采用的统计规则(显著性水平或者方差统计值的大小)都有一定的武断性［5］。笔者认为，从统计学意义上说，真正的最优回归方程是不存在或不可能得到的。与其花费大量的时间和高计算成本而得不到“最优”回归方程，不如少些武断性，用少量的时间和低计算成本得到1至数个“较优”多元线性回归模型以供选择，在实践中发挥相似的效果和作用。基于上述考虑，本研究从偏回归平方和的概念出发，提出一个概念总偏回归平方和(Pttotal

4、partialregressionsumofsquares)，Pt这个概念或术语，尚未见文献报道。借助Pt，我们提出简便实用的选择“较优”多元线性回归模型的总偏回归平方和法。　　2原理与方法　　设1个应变量Y与m个自变量Xi(i=1,2,…,m,m为自变量个数)呈线性相关。从多元回归全模型中取消一个自变量Xi后，回归平方和U减少的部分，称为这个自变量Xi对Y的偏回归平方和(Pi)，即这个自变量Xi对Y的回归贡献。关于每个自变量Xi在多元回归中所起的作用大小，可通过相应Xi的偏回归平方和Pi来衡量。Pi表明对Y的回归贡献。Pi越大，表示相应的Xi在回归中对Y的作用越大；当Pi很小

5、时，表示相应的Xi在回归中所起的作用越小。总偏回归平方和(Pt)表示全部Pi之和，如能计算出每个Pi与Pt之比Ri(Pi／Pt,Ri∈［0，1］)，根据Ri大小不同，可较快选择出“较优”自变量组合或子集。方法如下：①估计全模型即包括所有自变量Xi回归方程的残差平方和Q：Q=Y’*Y-Y’*X*(X’*X)-1*X’*X②计算每个自变量Xi的偏回归平方和Pi［2］：Pi=Qi-Q(i=1,2,…,m)(1)式(1)中Qi表示自变量Xi不在回归模型时的残差平方和，即Y与m-1个自变量X1，…，Xi-1，Xi+1…，Xm的选模型的残差平方和。Q为包括所有自变量Xi回归方程即全模型的残

6、差平方和。至此所计算回归方程总数为m+1个。③计算总偏回归平方和Pt：Pt=ΣPi(i=1,2,…,m)(2)④计算各Pi占Pt的比例：Ri=Pi／Pt(Ri∈［0,1］)(3)根据各Ri大小选择自变量，选出“较优”回归方程。⑤将Ri按由大到小秩序排列，然后计算累积Ri。一般地，可选择使累积Ri≥095(或085，090，099，需按数据的实际情况而定)的自变量组合，作为“较优”回归模型的自变量组合，从而得到所求“较优”回归方程。　　3实例　　实例1Hald水泥问题是一多元回归的经典实例，在诸多文献［4，6］中均有研究，说明存在一些不确定的模型。用本法作变量选择，结果见

7、表1。　　表1各自变量的偏回归平方和、总偏回归平方和及其比例与累积比例（略）　　由表1可知，X1和X2的累积Ri为0.9878，而X4与X3对回归的贡献是微不足道的，两者的Ri均不到001，故“较优”自变量子集应为X∈{X1,X2}，这个结果与Cp统计量法选出的结果相同。如需选3个自变量进入回归方程，自变量子集应是X∈{X1,X2，X4}，而不是X∈{X1,X2，X3}，与用最小残差方差、最小残差标准差、R2及校正R2选出的结果相一致。但本法仅计算了m+1=5个回归方程子集便得到与用2m-