第7章 多元回归分析：估计问题

《第7章 多元回归分析：估计问题》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、理解多元线性回归模型的表示，掌握多元线性回归模型的参数估计。第七章多元回归分析：估计问题◆学习目的◆对多元回归方程的解释◆偏回归系数的含义与估计◆多元判定系数R2与复相关系数R◆从多元回归的角度看简单回归◆R2及校正R2◆多项式回归模型第七章多元回归分析：估计问题第一节对多元回归方程的解释一、三变量模型：符号与假定将双变量的总体回归模型推广，便可写出三变量PRF为：（7.1.1）其中Y是因变量，X2和X3是解释变量，u是随机干扰项，而i指第i次观测。当数据为时间序列时，下标t将用来指第i次观测。在上述方程中β1是截距项，它代

2、表X2和X3均为零时Y的均值，如通常所说，它给出了所有未包含到模型中来的变量对Y的平均影响。系数β2和β3称为偏回归系数(partialregressioncoefficients)。二、多元线性回归模型的基本假设（1）ui有零均值，或：（7.1.2）（2）无序列相关，或：（7.1.3）（3）同方差性，或：（7.1.4）（4）ui与每一X变量之间都有零协方差，或：（7.1.5）（5）无设定偏误，或：模型被正确地设定（7.1.6）（6）X诸变量间无精确的共线性，或：X2和X3之间无精确的线性关系（7.1.7）假设（7.1.6）

3、中X2和X3之间无精确的线性关系，称为无共线性(nocollinearity)或无多重共线性(nomulticollinearity)。无共线性不存在一组不全为零的数和使得：如果这一关系式存在，则说X2和X3是共线的或线性相关。如果仅当时成立，则说X2和X3线性独立。无多重共线性（7.1.8）假设（7.1.1）中的Y、X2和X3分别代表消费支出、收入和财富，经济理论设想收入和财富对消费各有独立影响。若收入和财富之间有线性关系，则无从区分各自的影响了。令，则（7.1.1）变成：给出的是X2和X3对Y的联合影响。没有办法分别估计

4、X2的单独影响和X3的单独影响。三、对多元回归方程的解释给定经典回归模型的诸假定，那么，在（7.1.1）的两边对Y求条件期望得：（7.2.1）该式给出以变量X2和X3的固定值的条件的Y的条件均值或期望值。因此，如同双变量情形那样，多元回归分析是以多个解释变量的固定值为条件的回归分析，并且我们所获取的，是给定回归元值时Y的平均值或Y的平均响应。第二节偏回归系数的含义与估计前面指出，系数β2和β3称为偏回归(partialregression)系数。其含义如下：β2度量着在X3保持不变的情况下，X2每变化一单位，Y的均值E（Y

5、

6、X2，X3）的变化。换句话说，β2给出保持X3不变时E（Y

7、X2，X3）对X2的斜率。一、偏回归系数的含义什么是偏回归系数？1二、偏回归系数的OLS估计1.OLS估计量与（7.1.1）的PRF相对应的样本回归函数如下：OLS方法是要选择未知参数的值，使残差平方和RSS尽可能小，即：将该式对三个未知数求偏导数，并令其为零，解得：由上述正规方程组可以得到β1、β2和β3的OLS估计量：小写字母表示对样本均值离差的惯例。2.OLS估计量的方差和标准误我们计算标准误有两个目的：建立置信区间和检验统计假设。在上述公式中σ2是总体干扰项

8、ui的方差。可以证实，σ2的一个无偏估计量是：现在的自由度是（n-3），这是因为在估计之前，我们必须先估计β1，β2和β3，从而消耗了3个自由度。一旦算出残差ui，就能从该式算出估计量σ2。2021/6/152021/6/153.OLS估计量的性质多元回归模型的OLS估计量和双变量模型的OLS有着平行的性质。（1）三变量回归线（面）通过均值这个性质可以推广到一般情形，在k变量线性回归模型（一个回归子和（k-1）个回归元）中：我们有：（2）估计的Yi的均值等于真实Yi的均值。两边对所有样本值求和并除以样本大小n，由于即得：（3

9、）由于，两边对样本值求和可得。（4）残差与和都不相关，即（5）残差与不相关，即。两边同时乘以，然后对样本值求和。（6）在7.1节的经典线性模型的假定下，可以证明偏回归系数的OLS估计量不仅是线性和无偏的，而且在所有线性无偏估计量类中有最小方差。简言之，它们是BLUE。或它们满足高斯-马尔可夫定理。第三节多元判定系数R2与复相关系数R在双变量的情形中我们曾看到，r2是回归方程拟合优度的一个度量。它给出在因变量Y的总变异种由（单一个）解释变量X解释了的比例或百分比。在三变量模型中，由X2和X3联合解释Y的变异的比例的数量称为复判

10、定系数（multiplecoefficientofdetermination），记为R2。（总平方和TSS等于解释平方和ESS+残差平方和RSS），则R2越靠近1，模型的“拟合”越好。R2所代表的意义例7.1儿童死亡率与人均GNP和妇女识字率的关系Table6.464个国家的生育率及其他数