6.3最小方差无偏估计

《6.3最小方差无偏估计》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、6.3最小方差无偏估计6.3.1Rao-Blackwell定理我们在例6.2.6和例6.2.7中分别比较了两个无偏估计的优劣,在这两个例子中,好的一个无偏估计都是充分统计量的函数,这不是偶然的,下面我们介绍这方面的有关结论.先从Rao-Blackwell定理谈起.定理6.3.1（Rao-Blackwell定理）设和是两个随机变量,,.我们用条件期望构造一个新的随机变量,其定义为则有其中等号成立的充分必要条件是和几乎处处相等.证明：我们以和都是连续型随机变量为例加以证明,设,,分别为和的联合密度函数,的边际密度函数和给定下的条件密度函数,于

2、是条件期望这证明了第一个结论,下证第二个结论,我们将写成如下形式：（6.3.1）由于故(6.3.1)右端第三项为而(6.3.1)右端第二项正是的方差,由此即有(6.3.2)由于上式右端第一项非负,这就证明了第二个结论.进一步,等号成立(即）的充要条件为（6.3.3）即与几乎处处相等.将定理6.3.1应用到参数估计问题中可得到如下重要结论：定理6.3.2设总体概率密度函数是,是其样本,是的充分统计量,则对的任一无偏估计,令,则也是的无偏估计,且（6.3.4）证明：由于是充分统计量,故而与无关,因此它也是一个估计（统计量）,只要在定理6.3.

3、1中取,即可完成本定理的证明.定理6.3.2说明,如果无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可以得到一个新的无偏估计,该估计的方差比原来的估计的方差要小,从而降低了无偏估计的方差.换言之,考虑的估计问题只需要在基于充分统计量的函数中进行即可,该说法对所有的统计推断问题都是正确的,这便是所谓的充分性原则.例6.3.1设是来自的样本,则（或）是的充分统计量.为估计,可令由于,所以是的无偏估计.这个估计并不好,它只使用了两个观测值,下面我们用Rao-Blackwell定理对之加以改进：求关于充分统计量的条件期望,过程如下.其

4、中.可以验证,是的无偏估计,且.6.3.2最小方差无偏估计定义6.3.1对参数估计问题,设是第一个无偏估计,如果对另外任意一个的无偏估计,在参数空间上都有（6.3.5）则称是的一致最小方差无偏估计,简记为UMVUE.关于UMVUE,有如下一个判断准则.定理6.3.3设是来自某总体的一个样本,是的一个无偏估计,.如果对任意一个满足的,都有（6.3.6）则是的UMVUE.证明对的任意一个无偏估计,令,则于是定理得证.例6.3.2设是来自指数分布的样本,则根据因子分解定理可知,是的充分统计量,由于,所以是的无偏估计.设是0的任一无偏估计,则即两

5、端对求导,得这说明,从而由定理6.3.3,是的UMVUE.6.3.3Cramer-Rao不等式我们在定理6.3.5中将指出,最大似然估计的渐进方差主要由费希尔信息量决定,本节先介绍,然后讲述Cramer-Rao不等式,有时它可用来判断UMVUE.定义6.3.2设总体的概率函数满足下列条件：(1)参数空间是直线上的一个开区间；(2)支撑与无关；(3)导数对一切都存在；(4)对,积分和微分运算可交换次序,即(1)期望存在,则称(6.3.7)为总体分布的费希尔（Fisher）信息量.费希尔信息量是数理统计学中的一个基本概念,很多的统计结果都与费

6、希尔信息量有关.如最大似然估计的渐进方差,无偏估计的方差的下界等都与费希尔信息量有关.的种种性质显示,“越大”可被解释为总体分布中包含未知参数的信息就越多.例6.3.3设总体为泊松分布分布,其分布列为可以看出定义6.3.2的条件满足,且,于是例6.3.4设总体为指数分布,其密度函数为可以验证定义6.3.2的条件满足,且于是定理6.3.4（Cramer-Rao不等式）设定义6.3.2的条件满足,是来自该总体的样本,是的任一个无偏估计,存在,且对中一切,对的微分可在积分号下进行,即（6.3.8）对离散总体,则将上述积分改为求和符号后,等式仍然

7、成立.则有（6.3.9）（6.3.9）称为克拉美-罗(C-R)不等式,称为的无偏估计的方差的C-R下界,简称的C-R下界.特别,对的无偏估计,有.证明以连续总体为例加以证明.由两边对求导,由于积分与微分可交换次序,于是有记,则,从而（6.3.10）又由6.3.8,据施瓦茨不等式,有由此,6.3.9中等号成立,则称是的有效估计,有效估计一定是UMVUE.例6.3.5设总体分布列为它满足定义6.3.2的所有条件,可以算的该分部的费希尔信息量为,若是该总体的样本,则的C-R下界为,达到了C-R下界所以,是的有效估计,它也是的UMVUE.例6.3

8、.6设总体为指数分布,它满足定义6.3.2的所有条件,例6.3.4中已经算出该分布的费希尔信息量为,若是样本,则的C-R下界为.而是的无偏估计,且其方差等于,达到了C-R下界,所以是的有效估计