回归分析3逐步回归分析

《回归分析3逐步回归分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、回归分析（三）逐步回归分析1最优回归方程的问题寻求最优回归方程的问题在有p个自变量的情况下，根据自变量的不同组合可能建立2p-1个回归方程。这些回归方程的效果有好有坏，而人们希望的是回归效果最好的，即“最优”的回归方程最优回归方程的要求回归效果最佳自变量的个数最少选择一个最佳的变量组合一方面对因变量起显著作用的自变量都选进回归方程，另一方面对因变量作用不显著的自变量都剔除回归方程，2选择最优回归方程的方法方法一：穷尽法从所有可能的变量组合中，选择其中最优的回归方程这种方法一定能选出一个最优组合，但工作量特别大方法二：逐步剔除法基本步骤：从包含全部p个自变量组合的回归方程

2、中逐个检验回归系数，剔除对因变量作用不显著的自变量；对剔除后剩下的q个自变量建立对因变量的多元回归方程，再逐个检验回归系数，剔除不显著的变量；重复上述步骤，直到保留在回归方程中自变量的作用都显著为止缺点：一开始把全部自变量都要引入回归方程，计算量很大，实际上有些不重要的就不必引入3方法三：逐步引入法（1）基本步骤：①先逐个比较xl,…,xp对y的回归方程那些是显著的，从显著的方程中挑选F值最大的，相应的自变量x就被“引入”方程。无妨设x就是x1②再逐个比较(x1,x2)、(x1,x3)、…、(x1,xp)对y的回归方程，看有没有F值显著的，此时的F就是考虑添加xi之

3、后，xi的回归系数是否显著地不为0，将显著的F中最大的F所相应的变量“引入”方程。无妨设第二次“引入”的自变量是x2③再考察以x1、x2为基础，逐个添加x3、x4、…、xp之后的回归方程，是否较x1、x2的方程有显著的改进，有就再“引入”新的自变量……，这样下去，终于到某一步就没有可以再“引入”的自变量了。这时就获得了最后的回归方程4方法四：逐步回归分析方法按照自变量对因变量所起作用的显著程度，从大到小逐个地引入回归方程当每一变量引入以后，若先前已经引入的变量由于后来变量的引入而使其作用变得不显著时，就及时从回归方程中剔除出去，直到作用显著的变量都引入到回归方程，而作用

4、不显者的变量都剔出回归方程，得到一个最佳的变量组合为止（2）“逐步引入“法的缺点：不能反映后来变化的状况，设想x1、x2、x3引入后，又引入了x6，也许x3、x6引入后，x1的作用就不重要了，应该予以剔除，而“逐步引入”法不能达到这个要求5逐步回归分析的几个问题一、建立标准正规方程组二、变量的引入、剔除与消去法的关系6一、建立标准正规方程组为了分辨p个自变量对因变量Y所起影响(或作用)的大小，一个自然的想法是比较各自变量回归系数(j＝1,2,…,p)的绝对值的大小。根据回归系数的含义，Xj的回归系数是在其余p－1个自变量保持不变的条件下，Xj改变一个单位所引起Y平均变化

5、的大小。因而回归系数绝对值的大小反映了它所代表的因素的重要程度由于回归系数和自变量所取的单位(或数量级)有关，而各个自变量取不同的量纲的情况是常见的，因而不能将回归系数直接进行比较7建立标准正规方程组为了消除这个影响，对自变量和因变量都要加以标准化标准化的方法经过标准化的变量，其均值为0，标准离差Lxjxj为1事实上，8标准正规方程组由标准化数据建立的正规方程组的系数矩阵即为变量间的相关系数矩阵，称为标准化正规方程组标准化正规方程组为：9标准正规方程组标准化正规方程组的解称为标准回归系数，其常数项为0由于因变量也进行了标准化，其总离差平方和Lyy=1求解标准化正规方程组

6、还需要解决以下两个问题①引入变量和剔除变量的标准；②引入变量与剔除变量的方法。10二、变量的引入、剔除与消去法的关系假定已有l个自变量引入到回归方程，即相应的平方和分解公式是为了表明U和Q与引入的自变量是有关的，分别用符号U(x1,…,xl)和Q(x1,…,xl)表示11当增加一个自变量xi(i=l+1,…,p)后，有了新的回归方程，相应的平方和分解公式是原来的分解公式是注意到上两式左端Lyy是一样的，当xi引入后，回归平方和从U(x1,…,xl)增加到U(x1,…,xl,xi)，而残差平方和从Q(x1,…,xl)降到Q(x1,…,xl,xi)12因此，有记ui就是回归

7、方程中引入xi后对回归平方和的贡献，即偏回归平方和，且有13经F检验，当xi作用显著时，可将其引入。同理，如果xi原来已经在回归方程中，若检验后其作用不显著，可及时从回归方程中剔除出去。利用统计量因此，取剔除和引入变量xi的标准相同，即14在逐步回归中引入一个变量与剔除一个变量都涉及变换，变换公式相同，采用求解求逆紧凑格式在第s次对第k列消去的变换公式是：二、变量的引入、剔除与消去法的关系15由相关矩阵构成的系数矩阵中，第i个变量的偏回归平方和ui(s)为：由可推倒出来ui(s)为下一步引进变量的指标，每一步引入都是从未出现在回归方程的剩