最小方差无偏估计.ppt

《最小方差无偏估计.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、§6.3最小方差无偏估计6.3.1Rao-Blackwell定理定理6.3.1设X和Y是两个随机变量,EX=,Var(X)>0.定义则有其中等号成立的充要条件是X和几乎处处相等.以下定理说明：好的无偏估计都是充分统计量的函数。定理6.3.2设总体概率函数是p(x,)，x1,x2,…,xn是其样本，T=T(x1,x2,…,xn)是的充分统计量，则对的任一无偏估计，令，则也是的无偏估计，且定理6.3.2说明：如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原来的估计的方差要小，从而降低了无偏估计的方差。换言之，考虑的估计问题只需要在

2、基于充分统计量的函数中进行即可，该说法对所有的统计推断问题都是正确的，这便是所谓的充分性原则。例6.3.1设x1,x2,…,xn是来自b(1,p)的样本，则是p的充分统计量。为估计=p2，可令由于，所以是的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进：求关于充分统计量的条件期望，得6.3.2最小方差无偏估计定义6.3.1对参数估计问题，设是的一个无偏估计，如果对另外任意一个的无偏估计，在参数空间Θ上都有则称是的一致最小方差无偏估计，简记为UMVUE。如果UMVUE存在，则它一定是充分统计量的函数。定理6.3.3设x=(x1,x2,

3、…,xn)是来自某总体的一个样本，是的一个无偏估计，如果对任意一个满足E((x))=0的(x)，都有则是的UMVUE。关于UMVUE，有如下一个判断准则。例6.3.2设x1,x2,…,xn是来自指数分布Exp(1/)的样本，则T=x1+…+xn是的充分统计量，而是的无偏估计。设=(x1,x2,…,xn)是0的任一无偏估计，则两端对求导得这说明，从而由定理6.3.3，它是的UMVUE。6.3.3Cramer-Rao不等式定义6.3.2设总体的概率函数P(x,),∈Θ满足下列条件：(1)参数空间Θ是直线上的一个开区间；(2)支撑S={x:P(x,)>0}与无关；(3)

4、导数对一切∈Θ都存在；(4)对P(x,)，积分与微分运算可交换次序；(5)期望存在；则称为总体分布的费希尔(Fisher)信息量。费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I()有关。I()的种种性质显示，“I()越大”可被解释为总体分布中包含未知参数的信息越多。例6.3.3设总体为泊松分布P()分布，则于是例6.3.4设总体为指数分布，其密度函数为可以验证定义6.3.2的条件满足，且于是定理6.3.4（Cramer-Rao不等式）设定义6.3.2的条件满足，x1,x2,…,xn是来

5、自该总体的样本，T=T(x1,x2,…,xn)是g()的任一个无偏估计，存在，且对一切∈Θ，微分可在积分号下进行，则有上式称为克拉美-罗（C-R）不等式;[g’(θ)]2/(nI())称为g()的无偏估计的方差的C-R下界，简称g()的C-R下界。特别，对的无偏估计,有;如果等号成立，则称T=T(x1,…,xn)是g()的有效估计，有效估计一定是UMVUE。例6.3.5设总体分布列为p(x,)=x(1-)1-x,x=0,1，它满足定义6.3.2的所有条件，可以算得该分布的费希尔信息量为，若x1,x2,…,xn是该总体的样本，则的C-R下界为(nI())-1=(1-)

6、/n。因为是的无偏估计，且其方差等于(1-)/n，达到C-R下界，所以是的有效估计，它也是的UMVUE。例6.3.6设总体为指数分布Exp(1/)，它满足定义6.3.2的所有条件，例6.3.4中已经算出该分布的费希尔信息量为I()=-2，若x1,x2,…,xn是样本，则的C-R下界为(nI())-1=2/n。而是的无偏估计，且其方差等于2/n，达到了C-R下界，所以，是的有效估计，它也是的UMVUE。能达到C-R下界的无偏估计不多:例6.3.7设总体为N(0,2)，满足定义6.3.2的条件，且费希尔信息量为，令,则的C-R下界为,而的UMVUE为其方差大于C

7、-R下界。这表明所有的无偏估计的方差都大于其C-R下界。费希尔信息量的主要作用体现在极大似然估计。定理6.3.5设总体X有密度函数p(x;)，∈Θ，Θ为非退化区间，假定(1)对任意的x，偏导数，和对所有∈Θ都存在；(2)∀∈Θ,有，其中函数F1(x),F2(x),F3(x)可积.(3)∀∈Θ,若x1,x2,…,xn是来自该总体的样本，则存在未知参数的极大似然估计，且具有相合性和渐近正