第五章 多元线性回归模型(金融计量-浙大 蒋岳祥)

《第五章 多元线性回归模型(金融计量-浙大 蒋岳祥)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第五章多元线性回归模型在第四章中，我们讨论只有一个解释变量影响被解释变量的情况，但在实际生活中，往往是多个解释变量同时影响着被解释变量。需要我们建立多元线性回归模型。一、多元线性模型及其假定多元线性回归模型的一般形式是令列向量x是变量xk，k=1，2，的n个观测值，并用这些数据组成一个n×K数据矩阵X，在多数情况下，X的第一列假定为一列1，则β1就是模型中的常数项。最后，令y是n个观测值y1,y2,…,yn组成的列向量，现在可将模型写为：构成多元线性回归模型的一组基本假设为假定1.我们主要兴趣在于对参数向量β进

2、行估计和推断。假定2.假定3.假定4.我们假定X中不包含ε的任何信息，由于（1）所以假定4暗示着。（1）式成立是因为，对于任何的双变量X，Y，有E(XY)=E(XE(Y

3、X))，而且这也暗示假定5X是秩为K的n×K随机矩阵这意味着X列满秩，X的各列是线性无关的。22在需要作假设检验和统计推断时，我们总是假定：假定6二、最小二乘回归1、最小二乘向量系数采用最小二乘法寻找未知参数β的估计量，它要求β的估计满足下面的条件（2）其中，min是对所有的m维向量β取极小值。也即（3）满足（2）式或（3）式的估计量称为β的最

4、小二乘估计，这种求估计量的方法称为最小二乘法（OLS）。展开上式得或最小值的必要条件是设b是解，则b满足正则方程组这正是我们曾分析的最小二乘正则方程组。因为X是满秩的，所以的逆存在，从而得到解是22为了证实这确实是最小值，我们需要二阶编分矩阵是一个正定矩阵。我们现在来证明这个结果。对任意一非零向量c，令，则除非的每一元素都为0，否则q是正的。但若为零的话，则X的各列的一个线性组合等于0，这与X满秩的假定相矛盾。三、最小二乘估计量的统计特性在本节中，我们对回归量的两种情况，即非随机回归量和随机回归量下分别作讨论。

5、1、X非随机回归量若回归量当作非随机来进行处理时，则将X当作常数矩阵处理就可导出最小二乘估计量的各种特性。可得（4）若X是非随机的，或，则（4）中第二项的期望值是0。所以，最小二乘估计量是无偏的，它的协方差矩阵是在前面的内容中，对K=2的特殊b是β的最小方差的线性无偏估计量。现在我们给出这个基本结果的一个更一般的证明，令的另一个不同于b的线性无偏估计量，其中C是一个K×n矩阵。若是无偏的，22这暗示着CX=I，并且。所以可以得到的协方差矩阵是现在令，由假设知D≠0。那么，于是是非负定矩阵。则在展开这个四项和式之

6、前，我们注意到由于上面最后一项是I，有DX=0，所以的方差矩阵等于b的方差矩阵加上一个非负定矩阵。所以，的每个二次型都大于的相应二次型。利用这个结果可以证明高斯-马尔科夫定理：高斯—马尔科夫定理：对任意常向量w，古典线性模型中的最小方差线性无偏估计量是，其中b是最小二乘估计量。2、X随机回归量22在这样的情况下，为了得到最小二乘估计量特性更多的一般性，有必要将上面的结果推广解释变量X是来自某种概率分布的情况中去。获得b的统计特性的一个方便的方法是，首先，第一步求得对X的条件期望结果，这等同于非随机回归量的情况，

7、第二步，通过条件分布得到无条件结果。此论点的关键是，如果我们对任意X都可能得到条件无偏性，我们就可以得到一个无条件结果。因为所以，以观测到的X为条件我们得到一个有用的方法是利用重期望定律因为由假定4有，所以，b也是无条件无偏的，这样，。同样，以X为条件的b的方差是为了求得确切的方差，我们使用方差分解公式：由于对所有X，，所以第二项为零，因此，我们原来的结论要稍作改变，我们必须用其期望值E[(X′X)-1]来代替原来以得到适当的协方差矩阵。从上一段的结果可以合乎逻辑地建立高斯—马尔科夫定理，即对任何，在X给定的条

8、件下有但若这一不等式对一特定X成立，则必须成立：即，若它对每一特定X成立，则它一定对X的平均值也成立。这暗示，≤22。所以，不论我们是否将X看作是随机的，即无偏性和高斯—马尔科夫定理都成立。四、最小二乘估计量的统计推断迄今为止，在我们任一结果还未用到ε的正态性的假定6，但这一假定对构造假设检验的统计量是有用的和必须的。1、回归系数的假设检验我们先讨论X非随机变量时的情况。在（4）中，b是干扰向量ε的一个线性函数，如果我们假定ε服从多重正态分布。利用前面结果及前边推导的均值向量和协方差矩阵来表示即这是一个多重正态

9、分布，所以b的每一元素的边际分布都是正态分布的：令是的第k个对角元素，则（5）服从标准正态分布。若的统计推断可以基于。然而仍要估计，所以（5）式中Zk不是统计量。我们要得到的无偏估计量，才能作进一步的推断。按定义最小二乘残差向量是M是回归分析中一个基本的n×n矩阵，你可以容易地验证M既是对称的(M=M′)又是幂等的（M=M2）。性质1：X′e=0和i′e=022证明：由正则方程组，我们