资源描述：
《3多元线性回归与最小二乘估计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、1.3多元线性回归与最小二乘估计1．假定条件、最小二乘估计量和高斯—马尔可夫定理多元线性回归模型：yt=b0+b1xt1+b2xt2+…+bk-1xtk-1+ut,(1.1)其中yt是被解释变量（因变量），xtj是解释变量（自变量），ut是随机误差项，bi,i=0,1,…,k-1是回归参数（通常未知）。对经济问题的实际意义：yt与xtj存在线性关系，xtj,j=0,1,…,k-1,是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E(yt)=b0+b1xt1+b2xt2+…+bk-1xtk-
2、1决定的k维空间平面。当给定一个样本（yt,xt1,xt2,…,xtk-1）,t=1,2,…,T时,上述模型表示为y1=b0+b1x11+b2x12+…+bk-1x1k-1+u1,经济意义：xtj是yt的重要解释变量。y2=b0+b1x21+b2x22+…+bk-1x2k-1+u2,代数意义：yt与xtj存在线性关系。………..几何意义：yt表示一个多维平面。yT=b0+b1xT1+b2xT2+…+bk-1xTk-1+uT,(1.2)此时yt与xti已知，bj与ut未知。(1.3)Y=Xb+u,(1.4)为保证得到最
3、优估计量，回归模型（1.4）应满足如下假定条件。假定⑴随机误差项ut是非自相关的，每一误差项都满足均值为零，方差s2相同且为有限值，即 E(u)=0=,Var(u)=E(')=s2I=s2假定⑵解释变量与误差项相互独立，即E(X'u)=0假定⑶解释变量之间线性无关。 rk(X'X)=rk(X)=k其中rk(×)表示矩阵的秩。假定⑷解释变量是非随机的，且当T→∞时T–1X'X→Q其中Q是一个有限值的非退化矩阵。最小二乘(OLS)法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。12minS=(Y-X
4、)'(Y-X)=Y'Y-'X'Y-Y'X+'X'X=Y'Y-2'X'Y+'X'X(1.5)因为Y'X是一个标量，所以有Y'X='X'Y。(1.5)的一阶条件为：=-2X'Y+2X'X=0(1.6)化简得X'Y=X'X因为(X'X)是一个非退化矩阵（见假定⑶），所以有=(X'X)-1X'Y（1.7）因为X的元素是非随机的，(X'X)-1X是一个常数矩阵，则是Y的线性组合，为线性估计量。求出，估计的回归模型写为Y=X+(1.9)其中=(…)'是b的估计值列向量，=(Y-X)称为残差列向量。因为=Y-X=Y-X(X'X)-
5、1X'Y=[I-X(X'X)-1X']Y(1.10)所以也是Y的线性组合。的期望和方差是E()=E[(X'X)-1X'Y]=E[(X'X)-1X'(Xb+u)]=b+(X'X)-1X'E(u)=b(1.11)Var()=E[(–b)(–b)']=E[(X'X)-1X'uu'X(X'X)-1]=E[(X'X)-1X's2IX(X'X)-1]=s2(X'X)-1(1.12)高斯—马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量。具有无偏性。具有最小方差特性。具有一致性，渐近无偏性和渐近有效性。2.残差的
6、方差s2='/(T-k)(1.13)s2是s2的无偏估计量，E(s2)=s2。的估计的方差协方差矩阵是()=s2(X'X)-1(1.14)3.多重确定系数（多重可决系数）Y=X+=+(1.15)总平方和12SST==Y'Y-T,(1.16)其中是yt的样本平均数，定义为=。回归平方和为SSR=='-T(1.17)其中的定义同上。残差平方和为SSE==='(1.18)则有如下关系存在，SST=SSR+SSE(1.19)R2=(1.20)显然有0£R2£1。R2®1，拟合优度越好。4.调整的多重确定系数当解释变量的个数增
7、加时，通常R2不下降，而是上升。为调整因自由度减小带来的损失，又定义调整的多重确定系数如下：=1-=1-(1.21)5.OLS估计量的分布若u~N(0,s2I)，则每个ut都服从正态分布。于是有Y~N(Xb,s2I)(1.22)因也是u的线性组合（见公式1.7），依据（1.11）和（1.12）有~N(b,s2(X'X)-1)(1.23)6.方差分析与F检验与SST相对应，自由度T-1也被分解为两部分，（T-1）=(k-1)+(T-k)(1.24)回归均方定义为MSR=，误差均方定义为MSE=表1.1方差分析表方差来源
8、平方和自由度均方回归SSR='-T2k-1MSR=SSR/(k-1)误差SSE='T-kMSE=SSE/(T-k)总和SST=Y'Y-T2T-1H0:b1=b2=…=bk-1=0;H1:bj不全为零12F==~F(k-1,T-k)(1.25)设检验水平为a，则检验规则是，若F£Fa(k-1,T-k)，接受H0；若F>Fa(k-1,T-k),拒绝
