第四章_极大似然估计和广义矩估计

《第四章_极大似然估计和广义矩估计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章极大似然估计和广义矩估计（MaximumLikelihoodmethodandGeneralizedMethodofMoments）第一节极大似然估计法第二节似然比检验、沃尔德检验和拉格朗日乘数检验第三节广义矩（GMM）估计除普通最小二乘法（OLS）外，极大似然估计（MLE）和广义矩估计（GMM）也是计量经济学中重要的估计方法。极大似然估计法和广义矩估计法适用于大样本条件下参数的估计，它们在大样本条件下显示了优良的性质。本章主要介绍极大似然法和广义矩方法以及基于极大似然估计的似然比（LR）检验、沃尔德（W）检验和拉格朗日乘数（LM）检验。第一

2、节极大似然估计法极大似然估计法（MaximumLikelihoodmethodML）的应用虽然没有普通最小二乘法广泛，但它是一个具有更强理论性质的点估计方法，它以极大似然原理为基础，通过概率密度函数或者分布律来估计总体参数。对于一些特殊类型的计量经济模型，如我们后面将介绍的Logit和Probit模型，最小二乘法不再适用，极大似然法成为首选的估计方法。一、极大似然法的思路极大似然估计的出发点是已知被观测现象的分布，但不知道其参数。极大似然法用得到观测值（样本）最高概率的那些参数的值来估计该分布的参数，从而提供一种用于估计刻画一个分布的一组参数的方法。

3、例4.1设有一枚不均衡的硬币，我们关心的是在每次抛掷该硬币出现正面的概率p。抛掷该硬币N次，假设得到N1次正面，N－N1次反面。由于每次抛硬币都是相互独立的，根据二项分布，得到这样一个样本的概率为：上式中的表达式可看作是未知参数p的函数，被称为似然函数（Likelihoodfunction）。对p的极大似然估计意味着我们选择使似然函数达到最大的p值，从而得到p的极大似然估计量。实际计算中，极大化似然函数的对数往往比较方便，这给出对数似然函数上式达到极大的一阶条件是解之，得到p的极大似然估计量二、极大似然原理下面我们以一般化的数学语言来描述极大似然估计

4、法的基本原理和参数估计过程。极大似然法的思路是，设是随机变量X的密度函数，其中是该分布的未知参数，若有一随机样本，则的极大似然估计值是具有产生该观测样本的最高概率的那个值，或者换句话说，的极大似然估计值是使密度函数达到最大的值。由于总体有离散型和连续型两种分布，离散型分布通过分布律来构造似然函数，而连续型分布通过概率密度函数来构造似然函数，因此二者有区别，下面分别讨论。离散型随机变量极大似然原理若总体为离散型分布，容易求得从样本取到观察值的概率，亦即事件发生的概率为：其中，是待估参数向量。这一概率随的取值而变化，它是的函数，称为样本的似然函数。极大似

5、然估计法就是在取值的可能范围内挑选使似然函数达到最大的参数值作为参数的估计值，即求，使得一般通过微分的方法求得，即令得到，有时候也可通过迭代法来求，具体的计算方法根据随机变量的分布来确定。这样得到的称为参数的极大似然估计值，而相应的统计量通常记为，称为参数的极大似然估计量。连续型随机变量极大似然原理若总体为连续型分布，其概率密度函数为密度函数的形式已知。其中，是待估参数向量。设是来自总体的随机样本，则的联合概率密度为设是相应于样本的一组样本值，则随机点（）落在点（）的邻域内的概率可近似地表示为其值随的取值而变化。与离散型的情况一样，我们取的估计值使取

6、到极大值，但不随而变，故只需考虑函数的极大值，这里称为样本的似然函数。若则称为的极大似然估计量，记为。通常情况下，关于可微，这时可从方程解得。因为与在同一点处取到极值，的极大似然估计值通常从方程解得，式中称为对数似然函数。为了后面内容表述方便起见，我们将对数似然函数的一阶导数向量表示为称为score向量或梯度向量，的极大似然估计过求解得到，因此称为似然方程。三、极大似然估计量的性质极大似然估计量（MLE）的优势在于它们的大样本性质（渐近性质）。为介绍这些渐近性质，我们用表示参数向量的极大似然估计量（MLE），表示参数向量的真值。如果极大似然函数被正确

7、设定，可以证明，在弱正则条件下，极大似然估计量具有以下渐近性质：（1）一致性：是的一致估计量，即，（2）渐近有效性：是渐近有效的且达到所有一致估计量的Cramèr-Rao下界，即在所有一致渐近正态估计量（consistentasymptoticallynormalestimators）中具有最小方差。（3）渐近正态性：即渐近地服从正态分布，其中V是渐近协方差矩阵协方差矩阵V由对数似然函数的形状决定。为了说明这一点，我们引入信息矩阵（InformationMatrix）的概念，信息矩阵定义为在适当的正则条件下，可以证明，极大似然估计量的渐近协方差矩阵等

8、于信息矩阵的逆矩阵，即四、线性回归模型的极大似然估计线性回归模型是计量经济学应用最为广泛的模型，因此讨论线性