自变量选择与逐步回归ppt课件.ppt

《自变量选择与逐步回归ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章自变量选择与逐步回归信计学院统计系沈菊红1第5章自变量选择与逐步回归自变量选择对估计和预测的影响自变量选择的准则逐步回归•前进法•后退法•逐步回归法2说明我们在建立回归模型时，首要问题是如何确定回归自变量。如果遗漏了某些重要的变量，回归方程的效果肯定不会好；如果考虑过多的自变量，在这些变量中，某些变量可能和其他变量有很大程度的重叠。这样的话，会增大计算量，回归方程稳定性也很差，并且直接影响回归方程的应用。3一自变量选择对估计和预测的影响全模型和选模型设对因变量有影响的因素共有m个，由因变量y和m个自变量构成的回归模型为(5.1

2、)称模型(5.1)为全模型。如果从所有可供选择的m个变量中挑选出p个，记为，由所选的p个自变量组成的回归模型为(5.2)4相对全模型而言，称(5.2)式为选模型自变量的选择问题可以看成是对一个实际问题是用(5.1)式全模型还是用(5.2)式选模型去描述。模型选择不当会给参数估计和预测带来不良影响。为了方便，把模型(5.1)式的参数向量和记为5把模型(5.2)式的参数向量和记为62自变量选择对预测的影响全模型与选模型全模型正确，误用选模型选模型正确，误用全模型所有m个变量m个变量中选择p个变量7全模型正确，误用选模型的情况选模型回归系

3、数的OLS是全模型相应参数的有偏估计选模型的预测有偏8全模型正确，误用选模型的情况选模型的参数估计方差较小选模型的预测残差方差较小9全模型正确，误用选模型的情况在条件下，选模型预测的均方误差比全模型预测的方差小全模型估计102自变量选择对预测的影响全模型正确而误用选模型的情况•当全模型正确时，而我们舍去了m-p个自变量，用剩下的p个自变量去建立选模型，参数估计值是全模型相应参数的有偏估计，用其作预测，预测值也是有偏的；•用选模型作预测，残差的方差比用全模型去作预测的方差小；•即使全模型正确，但如果其中有一些自变量对因变量影响较小或回

4、归系数方差过大，我们丢掉这些变量后，用选模型去预测，可以提高预测的精度。11选模型正确，误用全模型的情况全模型的预测值是有偏估计从预测方差的角度看，选模型的预测方差小于全模型的预测方差12从均方预测误差的角度看，选模型的均方预测误差小于全模型的均方预测误差132自变量选择对预测的影响选模型正确而误用全模型的情况•如果选模型正确，从无偏性的角度看，选模型的预测值是因变量新值的无偏估计，而全模型的预测值是的有偏估计；•从预测方差的角度看，选模型的预测方差小于全模型的预测方差；•从均方预测误差的角度看，全模型的预测误差大于选模型的预测误差

5、。14选择自变量的基本指导思想是：少而精剔除可有可无的自变量。以估计量的有偏性为代价，用选模型估计的保留变量的回归系数的方差小，对于所预测的因变量的方差也小。15二所有子集回归选模型的个数残差平方和最小?复决定系数最大?变量越多越好16选择回归子集的准则自由度调整复决定系数达到最大；回归误差项方差估计（残差均方）最小：17什么是自由度模型中样本值可以自由变动的个数，称为自由度自由度=样本个数—样本数据受约束条件(方程)的个数例如，样本数据个数为n，它们受k个方程的约束（系数矩阵秩为k），那么，自由度df=n-k18举例:SST、SS

6、R、SSE的自由度19对应于平方和分解的自由度的分解SST=SSR+SSEn-11n-2总自由度dfT回归自由度dfR残差自由度dfE自由度分解：dfT=dfE+dfR20选择回归子集的准则赤池信息量AIC最小：根据极大似然估计原理正态经典回归模型的选择反映回归方程的拟合精度模型复杂度21选择回归子集的准则CP统计量最小(mallows，1964)从预测角度提出：预测误差最小22三逐步回归在多元线性回归分析中，并不是所有自变量对因变量有显著的影响。问题：如何挑选出对因变量有显著影响的自变量？变量的所有可能子集构成个回归方程，当自变量

7、个数较多时，要求出所有可能的回归方程是非常困难的。23三、逐步回归前进法:少到多后退法:多到少逐步回归偏F检验：考虑自变量的显著性剔除xj后回归平方和24前进法:少到多1.建立m个一元线性回归方程，取最大的则Xj进入方程一元25前进法:少到多2.建立m-1个二元线性回归方程，取最大的直到所有未引入方程的自变量F值均小于则Xj进入方程二元为止。26例题分析输出结果5.32728从输出结果中看到，前进法依次引入了变量，最优回归模型为29这是全模型的复决定系数表，比较它和选模型的复决定系数。30后退法(与前进法相反)：多到少1.用全部m个

8、变量建立一个回归方程，对m个回归系数进行F检验，取最小的则Xj剔出方程m元31后退法：多到少2.对剩下的m-1个自变量建立回归方程，取最小的直到方程中所剩余的自变量F值均大于则Xj进入方程m-1元为止。32例题分析输出结果5.4【例5