第五章自变量与逐步回归ppt课件.ppt

《第五章自变量与逐步回归ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章自变量选择与逐步回归一、全模型与选模型对某一实际问题，设因变量y，对y有影响的因素共有m个，则回归模型为称为全回归模型从所有可共选择的m个变量中挑选出p个，记为，由所选的p个自变量组成的回归模型为称为选模型二、自变量选择对预测的影响自变量选择对预测的影响分两种情况：（1）全模型正确而误用选模型；（2）选模型正确而误用全模型。（一）全模型正确而误用选模型假设全模型与选模型不同，既要求p

2、性质3、4表明，用选模型去作预测，残差的方差比用全模型去作预测的方差小。这说明尽管全模型正确，误用选模型是有利也有弊。性质5表明，即使全模型正确，但如果其中有一些自变量对因变量的影响很小或回归系数方差过大，当我们丢掉这些变量之后，可以提高预测的精度。（二）选模型正确而误用全模型如果选模型正确而误用全模型，从无偏的角度看，选模型的预测值是因变量新值的无偏估计，此时全模型的预测值是y0的有偏估计。从预测方差的角度看，选模型的预测方差小于全模型的预测方差。从均方误差的角度看，全模型的预测误差将更大。总之，一个好的回归模型，并不是考虑的自变量越多越好，选择自变量的基本指导思

3、想是少而精。5.2自变量选择的准则y与x1x2;y与x1x3;x2;y与x2x3的二元回归模型（共3个）一、所有子集的回归设因变量为y，自变量为x1,x2,x3,所有自己的回归是指：分别建立y与{x1,x2,x3}子集为自变量的回归模型。y与各x1,x2,x3的回归模型（共3个）y与x1x2x3的三元回归模型（共1个）二、关于自变量选择的几个准则准则1自由度调整复决定系数达到最大。调整的复决定系数当模型中加入自变量后，调整的复决定系数不会变小这在进行模型比较时，是非常不利的。到底什么是增加一个新变量的净影响当新的变量加到模型中，我们损失一个自由度加入新变量的解释能力

4、是否抵消失去自由度的损失?RegressionStatisticsMultipleR0.72213RSquare0.52148AdjustedRSquare0.44172StandardError47.46341Observations15ANOVAdfSSMSFSignificanceFRegression229460.02714730.0136.538610.01201Residual1227033.3062252.776Total1456493.333CoefficientsStandardErrortStatP-valueLower95%Upper95%In

5、tercept306.52619114.253892.682850.0199357.58835555.46404Price-24.9750910.83213-2.305650.03979-48.57626-1.37392Advertising74.1309625.967322.854780.0144917.55303130.70888pie销售量的变差中44.2%是由价格和广告解释的，考虑了样本量的大小和自变量的个数(continued)调整的复决定系数准则2赤池信息量AIC达到最小.x1与y的回归模型准则3Cp统计量达到最小全模型的方差分析表选择最优方程的方法En

6、ter」：强制选取法。设定强制一次进入的回归分析方法。简单线性回归均选取此种方法。没有对回归变量进行筛选，建立与全部自变量的全回归模型。【Forward】：设定正向选取式的回归分析法，前向(向前)选取法。【Backward】：设定反向移除式的回归分析法，后向(向后)选取法。【Stepwise】：设定逐步回归选取法。【Remove】：设定强制一次移除的回归分析法。1、前进法【Forward】变量由少到多，一次考虑一个自变量，判断其贡献是否已达设定的标准，若是则将其「纳入」多元回归方程式中。此分析法在选取过程中并不剔除任何已在回归方程式中的自变量。这种方法的缺点是某自变

7、量选入方程后,就一直留在方程中,不再剔除(因此又称为只进不出法).这是因为某个自变量开始可能是显著的,当引入其他自变量后他变得不显著了.但没有机会将其剔除,即一旦引入,就是终身制.利用SPSS对例5.4分别用前进法操作建立回归方程。2、后退法首先用全部m个变量建立一个回归方程，然后在这m个变量中选择一个最不重要的变量，将它从方程中剔除。前进法和后退法的缺点前进法不能反映引进新的自变量后的变化情况。后退法的不足是一开始把全部自变量引入回归方程，这样计算量很大；其次是一旦某个自变量被剔除，就再也没有机会重新进入回归方程。3、逐步回归法逐步回归的基本思想是有进有出。将