双变量回归模型估计问题

《双变量回归模型估计问题》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三讲：双变量回归模型：估计问题主要内容：普通最小二乘法高斯-马尔可夫定理拟合优度3.1普通最小二乘法回归分析的主要目的：根据样本回归函数，估计总体回归函数。两组随机样本X800110014001700200023002600290032003500Y561638913140814081716196922442552262963884710451144136415511749210121782321样本回归线如何确定如何去估计样本回归线？估计的方法：普通最小二乘法(OLS)简单方便参数估计量在一定的假设下具有其他方法所没有

2、的良好统计性质给定一组样本观测值如何使尽可能好地拟合这组值.即我们希望样本回归模型的估计值尽可能地靠近观测值。为达到此目的，我们选择使残差平方和（3-1）尽可能地小，其中是残差的平方换句话说，我们期望能确定出、，使得残差平方和最小即求出、，使成立根据微积分知识，（3-2）（3-3）（3-4）（3-5）解得：（3-6）（3-7）假定4：解释变量的样本有变异在样本中，解释变量的取值不为相同的常数。有意义或有解写成离差形式：（3-8）（3-9）上面得到的估计量,是从最小二乘原理演算而得的。因此，称其为最小二乘估计量。估计量的数

3、值性质数值性质：指运用最小二乘估计法而成立的那些性质，而不管数据如何产生。（1）（2）（3），3.2高斯-马尔可夫定理最小二乘估计量有何优良的统计性质呢？假定5：同方差性高斯-马尔可夫定理：在假定1~假定5下，OLS估计量是最优线性无偏估计量（BLUE）。它是线性的它是无偏的它是有效估计量（1）线性性令，则有这说明是的一个线性函数，它是以为权的一个加权平均数，从而它是一个线性估计量。同理，也是一个线性估计量。（2）无偏性就是说，虽然由不同的样本得到的，可能大于或小于它们的真实值，，但平均起来等于它们的真实值，。因为，所以（

4、3）有效估计量：具有最小方差估计量的精度（可靠性）：（2）证明最小方差性其中，为不全为零的常数则容易证明普通最小二乘估计量（ordinaryleastSquaresEstimators）称为最佳线性无偏估计量（bestlinearunbiasedestimator,BLUE）3.3拟合优度？样本回归直线对数据拟合得有多好呢样本在多大程度上能够解释被解释变量的变异程度判定系数-------拟合优度度量计算R2的步骤如下据样本回归模型可得：（3-10）（3-11）两式相减，可得（3-12）总平方和（TSS）解释平方和（ESS

5、）残差平方和（RSS）对（3-12）两边取平方求和(3-13)式(3-13)可表示为TSS=ESS+RSS（3-14）这说明的观测值围绕其均值的总变异可分解为两部分，一部分来自回归线，而另一部分则来自扰动项。=总离差=来自回归=来自残差用TSS除式（3-14）的两边，得（3-15）定义R2为：（3-16）上述定义的称为判定系数，它是对回归线拟合优度的度量。就是说，测度了在的总变异中由回归模型解释的那个部分所占的比例或百分比。据判定系数的定义可知：。等于1的R2意味着一个完美的拟合，即对每个都有。另一方面，等于0的R2意味着

6、被解释变量与解释变量之间无任何关系（即），这时，，就是说，对任一Y值的最优预测值都是它的均值，从而回归线平行于X轴。与R2关系紧密但概念上与R2差异较大的一个参数是相关系数，它测度了两个变量之间的关联度。也可据R的定义计算（3-17）从定义可以看出。在回归分析中，R2是一个比R更有意义的度量，因为R2告诉我们在被解释变量的变异中，由解释变量解释的部分占怎样一个比例，因而对一个变量的变异在多大程度上决定另一个变量的变异，提供了一个总的度量，而R则没有这种作用。Thanks!