资源描述：
《第6 章 最大似然估计法.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、教学用PPT，《高级计量经济学及Stata应用》，陈强编著，高等教育出版社，©2010年第6章最大似然估计法6.1最大似然估计法的定义yy,,?假设{}1n为独立同分布，则样本数据的联合密度函数为ff(;)(;)(;)y12θyθ?fynθ。1定义“似然函数”为，nLf(;,,)θyy1?ni=∏(;)yθ(6.1)i=1把似然函数取对数，将乘积形式转化为求和形式，nln(;Lfθyy1,?,ni)=∑i=1ln(;)yθ(6.2)“最大似然估计法”（MaximumLikelihoodEstimation，2MLE）的思想是，给定样本取值后，该样本最有可能来自参数θˆ，使得观
2、测到样本数据的θ为何值的总体。即寻找ML可能性最大，即最大化“对数似然函数”。maxln(;)LθyθΘ∈(6.3)假设存在唯一内点解，则一阶条件为，∂ln(Lθ;y)s0(θ;y)≡=∂θ(6.4)即对数似然函数的梯度向量s(;)θy为0。该向量也被称为3“得分函数”或“得分向量”。可将得分函数分解为，n∂ln(;)Lθy∂∑ln(;)fyθnn∂ln(;)fyθs(;)θθy≡==≡ii=1i∑∑s(;y)ii(6.5)∂∂θθii==11∂v二阶条件要求，对数似然函数的海赛矩阵⎛⎞∂ln(;)Lθy∂⎜⎟∂2ln(;)Lθy⎜⎜⎝⎠∂θ⎟⎟≡∂∂θθ′′∂θ为负定矩阵。
3、422例假设XN~(,)μσ，σ已知。得到一个样本容量为1的样本x1=2，求对μ的最大似然估计。似然函数为1(⎧⎫⎪⎪−−2μ)2⎪⎪L()μ=exp⎨⎬22⎪⎪22。似然函数在μˆ=2处取最大值。πσ⎪⎪⎩⎭σμ=2μ=55图6.1、选择参数使观测到样本的可能性最大6.2线性回归模型的最大似然法估计假设线性回归模型为，yX=+βε(6.6)62假设ε
4、X0I~(,)Nσn，则被解释变量的条件分布为2yX
5、~(,)NXβσI，其条件概率密度函数为，n⎧⎫⎪⎪122−n⎪⎪′f(
6、)(2)expyX=−πσ⎨⎬(yX−β)(yX−β)⎪⎪⎪⎪⎩⎭2σ2(6.7)22用假想值β!
7、,σ!来代替真实值β,σ，并取对数，22nn1ln(,Lβ!!σπ!!)=−ln2−lnσ−(yX−β)(′yX−β!)2(6.8)222σ!2此最大化问题可分两步进行。第一步，在给定σ!的情况下，!!选择最优β。第二步，代入第一步中得到的最优β，选择72最优σ!。!2在第一步，选择β使得ln(,Lβ!σ!)最大，这等价于让()yX−−β!!′()yXβ最小。ββˆˆ==()XXXy′′−1(6.9)MLOLS2在第二步，对σ!求导，n11−+ee′=022σσ!!24(6.10)82求解σ的MLE估计量为，22ee′′ee2σσˆˆ=≠=≡sMLnnOLS−K(6.11)6
8、.3最大似然估计的数值解如果模型存在非线性，MLE通常无解析解，而只能寻找数值解，比如“牛顿-拉夫森法”。9f()x(x00,()fx)*x0xxxx210图6.2、牛顿-拉夫森法递推公式为，10f()xixx=−ii+1f′()x(6.12)i6.4信息矩阵与无偏估计的最小方差定义“信息矩阵”为对数似然函数的海赛矩阵之期望值（对y求期望）的负数，2⎡∂ln(;)Lθy⎤I()θ≡−E⎢⎥⎢⎣∂∂θθ′⎥⎦(6.13)112∂ln(;)Lθy−∂∂′表示的是对数似然函数在θ空间中的曲率θθ（curvature），取期望值之后的I()θ即平均曲率。如果曲率大，对数似然函数很陡峭
9、，则较易根据样本分辨真实θ的位置；反之，如果曲率小，对数似然函数很平坦，则不易根据样本判断真实θ的位置，参见图6.3。12ln(;)LθyθˆMLθˆMLθ图6.3、平坦（左）与陡峭（右）的对数似然函数由于信息矩阵涉及到二阶偏导数，常将其表达为一阶偏导数的乘积形式，⎡⎤∂∂2ln(;)LLθy⎡ln(;)ln(;)θy∂Lθy⎤I()θθ≡−E⎢⎥=E⎢⎥=E⎡ss(;)(;)yθy′⎤⎢⎥⎣⎦∂∂θθ′⎢⎣∂θ∂θ′⎥⎦⎣⎦(6.14)13即“信息矩阵等式”。由此，可以证明信息矩阵I()θ就是得分函数的方差，Var[]ss(;)θθyy=−E⎡⎤⎣(;)(;)ssθθyy′
10、⎦E[](;)E[]s(;θy)′%(((&((('%(((&((('==00=E⎡⎤ss(;);θθy()y′⎣⎦(6.15)=I(θ)统计学中的著名结论：假设θˆ是对真实参数θ的任意无偏估−1计，则在一定的正则条件下，θˆ的方差不会小于[I()θ]，即14Var()ˆI()−1−1θθ≥[]。其中，[I()θ]被称为“克莱默-劳下限”。在古典线性回归模型中，可以证明，⎛⎞σ21()XX′−0−1⎜⎟[]I()θ=⎜⎜⎜⎝⎠4⎟⎟⎟02σn(6.16)故ββˆˆ=均达到了无偏估计的最小方差。MLOLS
