多元线性回归模型及假定

《多元线性回归模型及假定》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、实用标准第三章多元线性回归模型基本要求：1、理解多元线性回归模型的定义2、理解多元线性回归模型的假定3、掌握参数估计的计算4、理解参数统计性质第一节多元线性回归模型及假定一、多元线性回归模型许多经济现象往往要受多个因素的影响，研究被解释变量受多个解释变量的影响，就要利用多元回归模型。多元线性回归模型与一元线性回归模型基本类似，只不过解释变量由一个增加到两个以上，被解释变量与多个解释变量之间存在线性关系。假定被解释变量与多个解释变量之间具有线性关系，是解释变量的多元线性函数，称为多元线性回归模型。即(3-1)

2、其中为被解释变量，为个解释变量，为个未知参数，为随机误差项。被解释变量的期望值与解释变量的线性方程为：(3-2)称为多元总体线性回归方程，简称总体回归方程。对于组观测值，其方程组形式为：(3-3)即精彩文档实用标准其矩阵形式为=+即(3-4)其中为被解释变量的观测值向量；为解释变量的观测值矩阵；为总体回归参数向量；为随机误差项向量。总体回归方程表示为：(3-5)与一元线性回归分析一样，多元线性回归分析仍是根据观测样本估计模型中的各个参数，对估计参数及回归方程进行统计检验，从而利用回归模型进行经济预测和分析。

3、多元线性回归模型包含多个解释变量，多个解释变量同时对被解释变量发生作用，若要考察其中一个解释变量对的影响就必须假设其它解释变量保持不变来进行分析。因此多元线性回归模型中的回归系数为偏回归系数，即反映了当模型中的其它变量不变时，其中一个解释变量对因变量的均值的影响。由于参数都是未知的,可以利用样本观测值对它们进行估计。若计算得到的参数估计值为，用参数估计值替代总体回归函数的未知参数，则得多元线性样本回归方程：(3-6)其中为参数估计值，为的样本回归值或样本拟合值、样本估计值。其矩阵表达形式为:(3-7)精彩文

4、档实用标准其中为被解释变量样本观测值向量的阶拟合值列向量；为解释变量的阶样本观测矩阵；为未知参数向量的阶估计值列向量。样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差。(3-8)二、多元线性回归模型的假定与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法(OLS)对参数进行估计时，有如下假定：假定1零均值假定：，即(3-9)假定2同方差假定(的方差为同一常数)：假定3无自相关性：精彩文档实用标准(3-10)假定4随机误差项与解释变量不相关(这个假定自动成立)：假定5随机误差项服从均值

5、为零，方差为的正态分布：假定6解释变量之间不存在多重共线性：即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵的秩为参数个数k+1，从而保证参数的估计值唯一。第二节多元线性回归模型的参数估计及统计性质一、多元线性回归模型的参数估计(一)回归参数的最小二乘估计对于含有个解释变量的多元线性回归模型设分别作为参数的估计量，得样本回归方程为：精彩文档实用标准观测值与回归值的残差为：由最小二乘法可知应使全部观测值与回归值的残差的平方和最小，即使(3-11)取得最小值。根据多元函数的极值原理，分别对求一阶偏

6、导，并令其等于零，即(3-12)即化简得下列方程组(3-13)上述个方程称为正规方程，其矩阵形式为(3-14)因为精彩文档实用标准设为估计值向量样本回归模型两边同乘样本观测值矩阵的转置矩阵，则有得正规方程组：(3-15)由假定(6)，，为阶方阵，所以满秩，的逆矩阵存在。因而(3-16)则为向量的OLS估计量。以二元线性回归模型为例，导出二元线性回归模型的OLS估计量的表达式。由(3-3)式得二元线性回归模型为为了计算的方便，先将模型中心化。精彩文档实用标准设，则二元回归模型改写为中心化模型。(3-17)记(

7、3-18)将代入得(3-19)因为(3-20)则由(3-16)式得精彩文档实用标准(3-21)其中由(3-21)式可知得(3-22)(3-23)(3-24)(二)随机误差项的方差的估计量样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差则设，可以得出是阶对称幂等矩阵，，。于是精彩文档实用标准而残差的平方和为其中“”表示矩阵的迹，即矩阵主对角线元素的和。于是随机误差项的方差的无偏估计量，记作，即，，为残差的标准差(或回归标准差)。因此(3-25)其中(3-26)例如,对于二元线性回归模型()(3

8、-27)(3-28)精彩文档实用标准二、估计参数的统计性质1、线性性指最小二乘估计量是被解释变量的观测值的线性函数。由于设，则矩阵为一非随机的阶常数矩阵。所以(3-29)显然最小二乘估计量是被解释变量的观测值的线性函数。2、无偏性将代入(3-16)式得(3-30)则所以是的无偏估计量。3.最小方差性设为阶数值矩阵，为阶随机矩阵(随机变量为元素的矩阵)，为阶数值矩阵，则下面我们推导的方差、协方差矩阵。定义：精彩文档