概率论 第十九讲 极大似然估计法

《概率论 第十九讲 极大似然估计法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、教学目的：1.讲解极大似然估计法；2.讲解评价估计量优劣的三个标准。教学内容：第六章，§6.1-2；§6.2。。第十九讲极大似然估计法、估计量优劣的标准极大似然估计法思想方法：一次试验就出现的事件有较大的概率例如:有两外形相同的箱子,各装100个球一箱99个白球1个红球一箱1个白球99个红球现从两箱中任取一箱,并从箱中任取一球,结果所取得的球是白球.答:第一箱.问:所取的球来自哪一箱？例6设总体X服从0-1分布,且P(X=1)=p,用极大似然法求p的估计值.解总体X的概率分布为设x1,x2,…,xn为总体样本X1,X2,…,Xn的样本值,

2、则对于不同的p,L(p)不同,见右下图现经过一次试验，发生了，事件则p的取值应使这个事件发生的概率最大.在容许范围内选择p，使L(p)最大注意到，lnL(p)是L的单调增函数,故若某个p使lnL(p)最大,则这个p必使L(p)最大。所以为所求p的估计值.一般,设X为离散型随机变量,其分布律为则样本X1,X2,…,Xn的概率分布为或称L()为样本的似然函数称这样得到的为参数的极大似然估计值称统计量为参数的极大似然估计量选择适当的=,使取最大值,即L()极大似然法的思想简记简记若X连续,取f(xi,)为Xi的密度函数似然函数为注1注2

3、未知参数可以不止一个,如1,…,k设X的密度(或分布)为则定义似然函数为若关于1,…,k可微,则称为似然方程组若对于某组给定的样本值x1,x2,…,xn，参数使似然函数取得最大值,即则称为1,…,k的极大似然估计值显然，称统计量为1,2,…,k的极大似然估计量例7设总体X~N(,2),x1,x2,…,xn是X的样本值,求,2的极大似然估计.解,2的极大似然估计量分别为似然方程组为极大似然估计方法1）写出似然函数L2）求出,使得可得未知参数的极大似然估计值然后,再求得极大似然估计量.L是的可微函数,解似然方程组

4、若L不是的可微函数,需用其它方法求极大似然估计值.请看下例：若例8设X~U(a,b),x1,x2,…,xn是X的一个样本值,求a,b的极大似然估计值与极大似然估计量.解X的密度函数为似然函数为似然函数只有当a

5、x1,x2,…,xn是X的一个样本,求a的极大似然估计值.解由上例可知,当时,L取最大值1,即显然,a的极大似然估计值可能不存在,也可能不唯一.例9不仅如此,任何一个统计量若满足都可以作为a的估计量.极大似然估计方法是的实值函数，且具有单值反函数。是的极大似然估计量,设是则的极大似然估计量例X~N(,2),2的极大似然估计.则的极大似然估计为作业P.192习题六1234点估计的评价标准对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题应该选用哪一种估计量?用何标准来评价一个估计量的好坏?常用标准(1)无偏性(3)

6、一致性(2)有效性若则称是的无偏估计量.无偏性定义我们不可能要求每一次由样本得到的估计值与真值都相等，但可以要求这些估计值的期望与真值相等.定义的合理性证明:不论X服从什么分布(但期望存在),证是总体X的样本,例1设总体X的k阶矩存在因而由于是的无偏估计量.则特别地样本二阶原点矩是总体是总体期望E(X)的样本均值无偏估计量的无偏二阶原点矩估计量例2设总体X的期望与方差存在,X的样本为(n>1).(1)不是D(X)的无偏估量;(2)是D(X)的无偏估计量.证前已证证明因而故证毕.例3设是总体X的一个样本,X~B(n,p)n>1,求p2的无

7、偏估计量.解由于样本矩是总体矩的无偏估计量以及数学期望的线性性质,只要将未知参数表示成总体矩的线性函数,然后用样本矩作为总体矩的估计量,这样得到的未知参数的估计量即为无偏估计量.令因此,p2的无偏估计量为故例4设总体X的密度函数为为常数为X的一个样本证明与都是的无偏估计量证故是的无偏估计量.令即故nZ是的无偏估计量.都是总体参数的无偏估计量,且则称比更有效.定义设有效性所以,比更有效.是的无偏估计量,问哪个估计量更有效？由例4可知,与都为常数例5设总体X的密度函数为解，例6设总体X，且E(X)=,D(X)=2为总体X的一个样本

8、证明是的无偏估计量(2)证明比更有效证(1)(1)设常数(2)结论算术均值比加权均值更有效.而例如X~N(,2),(X1,X2)是一样本.都是的无偏估计量由例6(2)知最有效.定义设是