《最大似然估计》PPT课件

《《最大似然估计》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、非经典计量经济学模型估计方法第一节最大似然估计计量模型估计方法说明计量经济学模型(参数模型、均值回归模型、基于样本信息）的3类估计方法LS、ML、GMM经典模型的估计—LS非经典模型的估计—ML、GMM综合样本信息和先验信息的贝叶斯估计分位数回归模型，QuantileRegression,QREG非参数模型的权函数估计、级数估计等主要内容一、最大似然原理二、线性模型的最大似然估计三、非线性模型的最大似然估计四、异方差和序列相关的最大似然估计五、最大似然估计下的Wald、LM和LR检验一、最大似然原理内在机理：

2、当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。该方法更本质地揭示了通过样本估计母体参数的内在机理。在微观计量模型尤其适用。似然函数：将样本观测值联合概率函数称为样本观测值的似然函数。极大似然法：通过似然函数极大化以求得总体参数估计量的方法被称为极大似然法。工作原理：在已经取得样本观测值的情况下，使似然函数取最大值的总体分布参数所代表的总体具有最大的概率取得这些样本观测值，该总体参数即是所要求的参数。最小二乘法：最合理的参数估计量是使得模型能最好的拟合样

3、本数据；以正态分布的总体为例，每个总体都有自己的分布参数期望和方差，如果已经得到n组样本观测值，在可供选择总体中，哪个最可能产生这组样本数据？取得n组样本观测值的联合概率，然后选择参数使其最大，和该参数匹配的即为总体。二、线性模型的最大似然估计1、一元线性模型的最大似然估计Yi的分布Yi的概率密度函数Y的所有样本观测值的联合概率—似然函数随机抽取n组样本观测值Yi。为什么是这个形式?对数似然函数对数似然函数极大化的一阶条件结构参数的ML估计量判断L*为海塞矩阵负定，所以有极大值，一阶条件为：分布参数的ML估计

4、量注意：ML估计必须已知Y的分布。只有在正态分布时，ML和OLS的结构参数估计结果相同。如果Y不服从正态分布，不能采用OLS。例如：选择性样本模型、计数数据模型等。在微观计量领域有重要应用。2、多元线性模型的最大似然估计i=1,2,…,n结构参数估计结果与OLS估计相同分布参数估计结果与OLS不同3、最大似然估计量的性质4、信息矩阵三、非线性模型的最大似然估计1、简单非线性模型的最大似然估计i=1,2,…,nY和X是分离的面临NLS（非线性最小二乘估计）同样的过程，得到相同的估计结果。2.一般非线性模型的ML

5、估计以上是一般非线性模型的完整描述。随机项满足经典假设模型参数的一种估计方法是最小二乘法，即最小化模型参数的另一种估计方法是最大似然法。得到广泛应用。最大似然估计雅可比行列式第i个观测点的似然函数=雅可比行列式×密度函数总体的对数似然函数为：样本的对数似然函数为：很明显若没有雅可比行列式项，参数的非线性最小二乘估计将是最大似然估计；但是，如果雅可比行列式包括θ，最小二乘法不是最大似然法。最大化对数似然函数的一阶条件为：3、说明非线性模型最大似然估计的性质结构参数的最大对数似然估计是渐近无偏、一致估计且渐近地服

6、从正态分布；分布参数的最大对数似然估计是渐近无偏和一致估计。非线性模型的最大对数似然估计一般不等价于非线性最小二乘估计，而是一个加权非线性最小二乘估计。在特殊情况下，雅克比行列式为1，最大对数似然估计才等价于非线性最小二乘估计，条件如下：四、异方差和序列相关的最大似然估计1、思路经典模型异方差问题或者序列相关问题的处理方法：一类是变换模型，使之成为不再具有异方差性或者序列相关性的模型，然后采用OLS进行估计，例如WLS、GLS等；一类是修正OLS估计量的标准差，纠正模型具有异方差性或者序列相关性时OLS估计量

7、的非有效性，使得继而进行的统计推断（例如显著性检验、参数的置信区间估计等）仍然有效，例如White修正、Newey-West修正方法等。非线性ML方法将异方差问题或者序列相关问题看成一类非线性问题，采用ML估计，比较简单，可以同时得到结构参数估计量和反映异方差或者序列相关特征的分布参数估计量。2、异方差的最大似然估计被解释变量样本的对数似然函数为：对异方差的结构给出假定，可以对模型的参数β和Ω的参数α进行最大似然估计。3、例题OLSML注：线性模型，截面样本，一般存在异方差。时间序列也有可能有异方差，常见金融

8、时间序列。采用非线性最大似然法估计，可以得到关于异方差结构的估计结果。在某些情况下，得到异方差结构的估计结果比模型参数估计量更重要。这就是异方差性的非线性方法的意义所在。4、序列相关的最大似然估计首先假定模型随机误差项的序列相关结构。一般以AR(1)、MA(1)、ARMA(1,1)为常见。求出随机误差项对被解释变量的偏导数表达式，即得到雅克比式。构造最大似然函数。同时得到模型参数和随机误差项的序列相