《普通最小二乘法》PPT课件

《《普通最小二乘法》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、普通最小二乘法（OLS）（ＯrdinaryLeastSquares)C.F.Gauss1777－1855高斯被认为是历史上最重要的数学家之一，并享有“数学王子”之称。高斯和阿基米德、牛顿并列为世界三大数学家。一生成就极为丰硕，以他名字“高斯”命名的成果达110个，属数学家中之最。1.OLS的基本思想普通最小二乘法（OLS）（ＯrdinaryLeastSquares)●对于，不同的估计方法可以得到不同的样本回归参数和，所估计的也就不同。●理想的估计结果应使估计的与真实的的差(即剩余)总的来说越小越好●因可正可负，总有，所以可以取最小，即在观测值Y

2、和X确定时，的大小决定于和。要解决的问题:：如何寻求能使最小的和。3普通最小二乘法（OLS）（ＯrdinaryLeastSquares)使因变量的观察值与估计值之间的离差平方和达到最小来求得和的方法。即用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小1.OLS的基本思想普通最小二乘法（OLS）（ＯrdinaryLeastSquares)用克莱姆法则求解得以观测值表现的OLS估计量：5取偏导数并令其为0，可得正规方程或整理得即2.正规方程和估计量6为表达得更简洁，或者用离差形式的OLS估计量：容易证明由正规方程：注意

3、：其中：本课程中:大写的和均表示观测值；小写的和均表示观测值的离差而且由样本回归函数可用离差形式写为用离差表现的OLS估计量在家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。因此，由该样本估计的回归方程为：参数估计的最大或然法(ML)最大或然法(MaximumLikelihood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其他估计方法的基础。基本原理：对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观

4、测值的概率最大。在满足基本假设条件下，对一元线性回归模型：随机抽取n组样本观测值（Xi,Yi）（i=1,2,…n）。那么Yi服从如下的正态分布：于是，Y的概率函数为（i=1,2,…n）假如模型的参数估计量已经求得，为因为Yi是相互独立的，所以的所有样本观测值的联合概率，也即或然函数(likelihoodfunction)为：将该或然函数极大化，即可求得到模型参数的极大或然估计量。由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：解得模型的参数估计量为：可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普

5、通最小二乘估计量是相同的。用样本去估计总体回归函数，总要使用特定的方法，而任何估计参数的方法都需要有一定的前提条件——假定条件简单线性回归的基本假定为什么要作基本假定？●只有具备一定的假定条件，所作出的估计才具有良好的统计性质。●模型中有随机扰动项，估计的参数是随机变量，显然参数估计值的分布与扰动项的分布有关，只有对随机扰动的分布作出假定，才能比较方便地确定所估计参数的分布性质，也才可能进行假设检验和区间估计等统计推断。假定分为：◆对模型和变量的假定◆对随机扰动项的假定14简单线性回归模型的最小二乘估计例如对于●假定模型设定是正确的（变量和模型无设

6、定误差）●假定解释变量X在重复抽样中取固定值。●假定解释变量X是非随机的，或者虽然X是随机的，但与扰动项u是不相关的。(从变量X角度看是外生的)注意:解释变量非随机在自然科学的实验研究中相对容易满足，经济领域中变量的观测是被动不可控的，X非随机的假定并不一定都满足。15对模型和变量的假定假定1：零均值假定:在给定X的条件下，　的条件期望为零假定2：同方差假定:在给定X的条件下，　的条件方差为某个常数16XY对随机扰动项u的假定17假定3：无自相关假定:随机扰动项的逐次值互不相关假定4：解释变量是非随机的，或者虽然是随机的但与扰动项不相关(从随机扰动

7、角度看)18假定5：对随机扰动项分布的正态性假定，即假定服从均值为零、方差为的正态分布（说明：正态性假定并不影响对参数的点估计，所以有时不列入基本假定，但这对确定所估计参数的分布性质是需要的。且根据中心极限定理，当样本容量趋于无穷大时，的分布会趋近于正态分布。所以正态性假定有合理性）由于其中的和是非随机的，是随机变量，因此Y是随机变量，的分布性质决定了的分布性质。对的一些假定可以等价地表示为对的假定：假定1：零均值假定假定2：同方差假定假定3：无自相关假定假定5：正态性假定19在对的基本假定下Y的分布性质●剩余项的均值为零●OLS回归线通过样本均值

8、●估计值的均值等于实际观测值的均值20(由OLS第一个正规方程直接得到)(由OLS正规方程两边同除n得到)OLS回归线的数