概率论与数理统计ppt课件第七章最大似然估计

《概率论与数理统计ppt课件第七章最大似然估计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1它首先是由德国数学家高斯在1821年提出的,GaussFisher然而，这个方法常归功于英国统计学家费歇(Fisher).费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.§7.2最大似然估计2思想方法一次试验就出现的事件有较大的概率7-173最大似然法的基本思想先看一个简单例子：一只野兔从前方窜过.是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.4因为只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人

2、射中的.其数学模型为令X为打一枪的中弹数，则X~B(1,p),p未知.设想事先知道p只有两种可能:p=0.9或p=0.1两人中有一人打枪,估计这一枪是谁打的，即估计总体X的参数p的值5当兔子不中弹，即{X=0}发生了现有样本观测值x=1,什么样的参数使该样本值出现的可能性最大呢？若p=0.9，则P{X=1}=0.9若p=0.1，则P{X=1}=0.1若p=0.9，则P{X=0}=0.1若p=0.1，则P{X=0}=0.9当兔子中弹，即{X=1}发生了6引例设总体X服从0-1分布，且P(X=1)=p,

3、用极大似然法求p的估计值。解X的概率分布可以写成设X1,X2,…,Xn为总体X的样本,设x1,x2,…,xn为总体X的样本值,则7对于不同的p,L(p)不同，见右下图现经过一次试验，发生了，事件则p的取值应使这个事件发生的概率最大。8在容许的范围内选择p，使L(p)最大注意到，lnL(p)是L的单调增函数，故若某个p使lnL(p)最大，则这个p必使L(p)最大。7-20所以为所求p的估计值.9最大似然估计法的基本思想：根据样本观测值，选择参数p的估计，使得样本在该样本值附近出现的可能性最大10一离散

4、型随机变量的情况最大似然估计的求法111213定义2.1设离散型随机变量X1,X2,...,Xn有联合分布其中是未知参数，给定观测数据x1，x2，...，xn后，称的函数为基于x1，x2，...，xn的似然函数(likelihoodfunction)，称的最大值点为的最大似然估计(maximumlikelihoodestimator缩写为MLE)其中也可以是向量14二连续型随机变量的情况1516定义2.2设随机向量X=(X1,X2,...,Xn)有联合密度其中是未知参数，给定X的观测值x=(x1，x

5、2，...，xn)后，称的函数为基于x=(x1，x2，...，xn)的似然函数(likelihoodfunction)，称的最大值点为参数的最大似然估计(MLE)其中也可以是向量17若总体中包含多个未知参数18(4)在最大值点的表达式中,用样本值代入就得参数的极大似然估计值.求最大似然估计(MLE)的一般步骤是：(1)由总体分布导出样本的联合分布列(或联合密度);(2)把样本联合分布列(或联合密度)中自变量看成已知常数,而把参数看作自变量,得到似然函数L();(3)求似然函数的最大值点(常转化为求对

6、数似然函数的最大值点)即的MLE;19未知参数的函数的最大似然估计设总体X的分布类型已知,其概率密度(或概率函数)为f(x;1,…,k),未知参数的已知函数为g(1,…,k).若分别为1,…,k的最大似然估计,则为g(1,…,k)的最大似然估计.20解：X的分布列为例1设X1,X2,…,Xn独立同分布，都服从Poisson分布，给定观测数据x1,x2,…,xn，试求参数的最大似然估计.因此似然函数为21令=0对数似然函数为：得的最大似然估计为22例2设X1,X2,…,Xn是取自总体X

7、~B(1,p)的一个样本，求参数p的最大似然估计.解：似然函数为:对数似然函数为：23对p求导并令其为0，=0p的最大似然估计为24似然函数为：25对数似然函数为：2627例4X服从指数分布,其密度函数为x1，x2，…，xn为观察值.试用最大似然估计法估计28解：似然函数为对数似然函数为由得的最大似然估计为29解：似然函数为对数似然函数为例5设X1,X2,…Xn是取自总体X的一个样本求的最大似然估计.其中>0,30求导并令其为0=0从中解得即为的MLE.对数似然函数为31例6设X1,X2,…,Xn是

8、取自总体X~U(a,b)的一个样本，求参数a,b的最大似然估计.解X的密度函数为似然函数为32不能求解。33似然函数a越大,b越小,L越大.令x(1)=min{x1,x2,…,xn}x(n)=max{x1,x2,…,xn}34故是a,b的最大似然估计值.则对满足的一切a，b,都有取35例7设总体X的概率分布为X012P1-2其中01/2为未知参数。今对X进行观测，得如下样本值0，1，2，0，2，1求的最大似然估计。36从而对数似然函数为解：似然函数为令得