双变量回归模型估计问题课件.ppt

《双变量回归模型估计问题课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章经典线性回归模型◆普通最小二乘法◆最小二乘法的基本假定◆最小二乘参数估计的精度或标准误差◆最小二乘估计量的性质：高斯-马尔可夫定理◆判定系数r2：拟合优度的一个度量◆关于蒙特卡罗实验的一个注记一、普通最小二乘法前一章我们提到根据样本回归函数尽可能准确地估计总体回归函数，通常有两种估计方法：普通最小二乘法(OrdinaryLeastSquares,OLS)和最大似然法(MaximumLikelihood,ML)。普通最小二乘法归功于德国数学家高斯，在回归分析中得到了广泛运用。它比最大似然法简单的多。回顾双变量总体回归

2、函数PRF：该PRF不可直接观测，同过SRF去估计它：（是的估计量，条件均值）为了考察SRF，把上式化为如下：对于给定的Y和X的n对观测值，我们希望SRF尽可能靠近实际的Y。规则之一：选择这样的SRF，使得残差和尽可能小。（goodorbad?）图最小二乘准则最小二乘准则是要确定SRF使得下式尽可能的小：可以看出，给出不同的和将会得到不同的。总和：现在做两个实验。在实验1中，假设，。在实验2中，假设，。表3.1SRF的实验决定法选择哪一组的值？第1个实验的值比第2个实验的值给出一个更低的。所以说第1个实验的更优。如何知道

3、最优？E.g.做许多次实验，每次选择不同的值，然后比较所得的，并从中选择给出最可能小的值的那组值。花费大量时间。最小二乘法给出了简便的运算。普通最小二乘法（ordinaryleastsquares，OLS）的基本思想——使样本回归函数尽可能好地拟合样本数据最小二乘法以表示被解释变量的估计值与实际观察值的偏差总体上最小。双变量情形下即是求得（4-1）根据微积分中求极限的原理，要使式（4-1）达到最小，式（4-1）对、的一阶偏导数应等于0，即（4-2）整理得（4-3）解得（4-4）这就是参数、的普通最小二乘估计量（ordi

4、naryleastsquaresestimators）方程组（4-3）称为正规方程组（normalequations）。记（之后都遵循一个惯例，小写字母表示对均值的离差）式（4-4）可改写为（4-5）称为参数、的普通最小二乘估计量的离差形式（deviationform）样本回归线通过Y和X的样本均值一旦从样本数据得到OLS估计值，便容易画出样本回归线，这样得到的回归线有如下性质：它通过Y和X的样本均值。这是从（4-5）显见的事实，该式可写成估计的均值等于实测的Y均值。因为：将最后一个等式两边对样本值求和并除以样本大小n，

5、即得：这里利用了等式。（Why?）残差的均值等于0。由（4-2），第一个方程是：因为故上述方程化为，从而。4．残差和解释变量不相关，即5．残差和预测的值不相关，即（离差形式）按照离差形式，SRF可写成：利用离差形式可以推出：例1对于消费函数，若已知：n=10,=23,=20则有因而例2设Y和X的5期观测值如下表所示，试估计方程Yt=+Xt+ut序号12345Yt1418232530Xt1020304050解：我们采用列表法计算。计算过程如下：序号YtXtyt=Yt-xt=Xt-xtytxt211410-8-20160

6、40021820-4-1040100323301000425403103010053050820160400n=5110150003901000表4－1二、最小二乘法的基本假定如果我们的目的仅仅是估计和，则OLS法足够用。但回归分析的目的不仅仅是获得和，还要对真实的和做出推断，即判断它们离总体值有多接近，或者说与其期望值有多接近。PRF表明Yi依赖于Xi和ui。因此，我们需明确Xi和ui是怎样产生的，为了回归估计的有效解释，对Xi变量（一个或多个）和误差项ui做出假定是极其重要的。假定1：线性回归模型。回归模型对参数而言

7、是线性的，如假定2：在重复抽样中X值是固定的。再重复的样本中，回归元所取的数值被认为是固定的。说的更专业些，假定X是非随机的。如第3章中的例子，考虑表2.1中各收入水平对应的各个Y总体，把收入值X固定在80美元的水平上，随机抽取一个家庭，并观测到它的周家庭消费支出Y为60美元。仍然把X固定在80美元，而随机的另抽取一个家庭并观测到它的Y值为75美元。在每次抽取即重复抽样的过程中，X值都固定在80美元。可以对表中的全部X值重复这一过程。假定3：干扰项ui的均值为零。对给定的X值，随机干扰项ui的均值或期望值为零，专业地讲，

8、ui的条件均值为零，符号上记为：假定3的几何意义可由图3.3描绘出来。图中显示了变量X的几个值以及与每一X值相对应的一个Y总体。如图所示，对应于给定的X，每一个Y总体都是围绕其均值分布的；一些Y值位于均值之上，一些Y值位于均值之下。离开均值的上方和下方的距离就是ui。这一假定意味着凡是模型不含的因而归属于u的因素，对