资源描述:
《第6 章 最大似然估计法.pdf》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、教学用PPT,《高级计量经济学及Stata应用》,陈强编著,高等教育出版社,©2010年第6章最大似然估计法6.1最大似然估计法的定义yy,,?假设{}1n为独立同分布,则样本数据的联合密度函数为ff(;)(;)(;)y12θyθ?fynθ。1定义“似然函数”为,nLf(;,,)θyy1?ni=∏(;)yθ(6.1)i=1把似然函数取对数,将乘积形式转化为求和形式,nln(;Lfθyy1,?,ni)=∑i=1ln(;)yθ(6.2)“最大似然估计法”(MaximumLikelihoodEstimation,2MLE)的思想是,给定样本取值后,该样本最有可能来自参数θˆ,使得观
2、测到样本数据的θ为何值的总体。即寻找ML可能性最大,即最大化“对数似然函数”。maxln(;)LθyθΘ∈(6.3)假设存在唯一内点解,则一阶条件为,∂ln(Lθ;y)s0(θ;y)≡=∂θ(6.4)即对数似然函数的梯度向量s(;)θy为0。该向量也被称为3“得分函数”或“得分向量”。可将得分函数分解为,n∂ln(;)Lθy∂∑ln(;)fyθnn∂ln(;)fyθs(;)θθy≡==≡ii=1i∑∑s(;y)ii(6.5)∂∂θθii==11∂v二阶条件要求,对数似然函数的海赛矩阵⎛⎞∂ln(;)Lθy∂⎜⎟∂2ln(;)Lθy⎜⎜⎝⎠∂θ⎟⎟≡∂∂θθ′′∂θ为负定矩阵。
3、422例假设XN~(,)μσ,σ已知。得到一个样本容量为1的样本x1=2,求对μ的最大似然估计。似然函数为1(⎧⎫⎪⎪−−2μ)2⎪⎪L()μ=exp⎨⎬22⎪⎪22。似然函数在μˆ=2处取最大值。πσ⎪⎪⎩⎭σμ=2μ=55图6.1、选择参数使观测到样本的可能性最大6.2线性回归模型的最大似然法估计假设线性回归模型为,yX=+βε(6.6)62假设ε
4、X0I~(,)Nσn,则被解释变量的条件分布为2yX
5、~(,)NXβσI,其条件概率密度函数为,n⎧⎫⎪⎪122−n⎪⎪′f(
6、)(2)expyX=−πσ⎨⎬(yX−β)(yX−β)⎪⎪⎪⎪⎩⎭2σ2(6.7)22用假想值β!
7、,σ!来代替真实值β,σ,并取对数,22nn1ln(,Lβ!!σπ!!)=−ln2−lnσ−(yX−β)(′yX−β!)2(6.8)222σ!2此最大化问题可分两步进行。第一步,在给定σ!的情况下,!!选择最优β。第二步,代入第一步中得到的最优β,选择72最优σ!。!2在第一步,选择β使得ln(,Lβ!σ!)最大,这等价于让()yX−−β!!′()yXβ最小。ββˆˆ==()XXXy′′−1(6.9)MLOLS2在第二步,对σ!求导,n11−+ee′=022σσ!!24(6.10)82求解σ的MLE估计量为,22ee′′ee2σσˆˆ=≠=≡sMLnnOLS−K(6.11)6
8、.3最大似然估计的数值解如果模型存在非线性,MLE通常无解析解,而只能寻找数值解,比如“牛顿-拉夫森法”。9f()x(x00,()fx)*x0xxxx210图6.2、牛顿-拉夫森法递推公式为,10f()xixx=−ii+1f′()x(6.12)i6.4信息矩阵与无偏估计的最小方差定义“信息矩阵”为对数似然函数的海赛矩阵之期望值(对y求期望)的负数,2⎡∂ln(;)Lθy⎤I()θ≡−E⎢⎥⎢⎣∂∂θθ′⎥⎦(6.13)112∂ln(;)Lθy−∂∂′表示的是对数似然函数在θ空间中的曲率θθ(curvature),取期望值之后的I()θ即平均曲率。如果曲率大,对数似然函数很陡峭
9、,则较易根据样本分辨真实θ的位置;反之,如果曲率小,对数似然函数很平坦,则不易根据样本判断真实θ的位置,参见图6.3。12ln(;)LθyθˆMLθˆMLθ图6.3、平坦(左)与陡峭(右)的对数似然函数由于信息矩阵涉及到二阶偏导数,常将其表达为一阶偏导数的乘积形式,⎡⎤∂∂2ln(;)LLθy⎡ln(;)ln(;)θy∂Lθy⎤I()θθ≡−E⎢⎥=E⎢⎥=E⎡ss(;)(;)yθy′⎤⎢⎥⎣⎦∂∂θθ′⎢⎣∂θ∂θ′⎥⎦⎣⎦(6.14)13即“信息矩阵等式”。由此,可以证明信息矩阵I()θ就是得分函数的方差,Var[]ss(;)θθyy=−E⎡⎤⎣(;)(;)ssθθyy′
10、⎦E[](;)E[]s(;θy)′%(((&((('%(((&((('==00=E⎡⎤ss(;);θθy()y′⎣⎦(6.15)=I(θ)统计学中的著名结论:假设θˆ是对真实参数θ的任意无偏估−1计,则在一定的正则条件下,θˆ的方差不会小于[I()θ],即14Var()ˆI()−1−1θθ≥[]。其中,[I()θ]被称为“克莱默-劳下限”。在古典线性回归模型中,可以证明,⎛⎞σ21()XX′−0−1⎜⎟[]I()θ=⎜⎜⎜⎝⎠4⎟⎟⎟02σn(6.16)故ββˆˆ=均达到了无偏估计的最小方差。MLOLS