概率论 第六参数估计

《概率论 第六参数估计》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第六章参数估计§6.1点估计的几种方法§6.2点估计的评价标准§6.3最小方差无偏估计§6.4贝叶斯估计§6.5区间估计一般常用表示参数，参数所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种：点估计与区间估计。设x1,x2,…,xn是来自总体X的一个样本，我们用一个统计量的取值作为的估计值，称为的点估计（量），简称估计。在这里如何构造统计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：其一是如何给出估计，即估计的方法问题；其二是如何对不同的估计进行评价，即估计的好坏判断标准。§6.1点估计的

2、几种方法6.1.1替换原理和矩法估计一、矩法估计替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如：用样本均值估计总体均值E(X)，即；用样本方差估计总体方差Var(X)，即用样本的p分位数估计总体的p分位数，用样本中位数估计总体中位数。例6.1.1对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：29.827.628.327.930.128.729.928.027.928.728.427.229.528.528.030.029.129.829.626.9经计算有由此给出总体均值、方差和中位数的估计分别为:28.695,0.9185和28.6。矩法估计的实质是

3、用经验分布函数去替换总体分布，其理论基础是格里纹科定理。二、概率函数P(x,θ)已知时未知参数的矩法估计设总体具有已知的概率函数P(x,1,…,k)，x1,x2,…,xn是样本，假定总体的k阶原点矩k存在，若1,…,k能够表示成1,…,k的函数j=j(1,…,k)，则可给出诸j的矩法估计为其中例6.1.2设总体服从指数分布，由于EX=1/，即=1/EX，故的矩法估计为另外，由于Var(X)=1/2，其反函数为因此，从替换原理来看，的矩法估计也可取为s为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估

4、计。例6.1.3x1,x2,…,xn是来自(a,b)上的均匀分布U(a,b)的样本，a与b均是未知参数，这里k=2，由于不难推出由此即可得到a,b的矩估计：6.1.2极(最)大似然估计定义6.1.1设总体的概率函数为P(x;)，是参数可能取值的参数空间，x1,x2,…,xn是样本，将样本的联合概率函数看成的函数，用L(;x1,x2,…,xn)表示，简记为L()，称为样本的似然函数。如果某统计量满足则称是的极(最)大似然估计，简记为MLE（MaximumLikelihoodEstimate）。人们通常更习惯于由对数似然函数lnL()出发寻找的极大似然估计。当L()是可微函

5、数时，求导是求极大似然估计最常用的方法，对lnL()求导更加简单些。例6.1.6设一个试验有三种可能结果，其发生概率分别为现做了n次试验，观测到三种结果发生的次数分别为n1,n2,n3(n1+n2+n3=n)，则似然函数为其对数似然函数为将之关于求导，并令其为0得到似然方程解之，得由于所以是极大值点。例6.1.7对正态总体N(,2)，θ=(,2)是二维参数，设有样本x1,x2,…,xn，则似然函数及其对数分别为将lnL(,2)分别关于两个分量求偏导并令其为0,即得到似然方程组(6.1.9)(6.1.10)解此方程组，由(6.1.9)可得的极大似然估计为将之代入(6.1.1

6、0)，得出2的极大似然估计利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。例6.1.8设x1,x2,…,xn是来自均匀总体U(0,)的样本，试求的极大似然估计。解似然函数要使L()达到最大，首先一点是示性函数取值应该为1，其次是1/n尽可能大。由于1/n是的单调减函数，所以的取值应尽可能小，但示性函数为1决定了不能小于x(n)，由此给出的极大似然估计：。极大似然估计有一个简单而有用的性质：如果是的极大似然估计，则对任一函数g()，其极大似然估计为。该性质称为极大似然估计的不

7、变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。例6.1.9设x1,x2,…,xn是来自正态总体N(,2)的样本，则和2的极大似然估计为，于是由不变性可得如下参数的极大似然估计，它们是:标准差的MLE是；概率的MLE是；总体0.90分位数x0.90=+u0.90的MLE是，其中u0.90为标准正态分布的0.90分位数。§6.2点估计的评价标准6.2.1相合性我们知道，点估计是一个统计量，因此它