资源描述：
《数理统计课件3.4经验bayes估计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、3.4经验贝叶斯估计经验贝叶斯方法（EmpiricalBayesMethod）是H.Robbins在1955年提出的，这种方法的思想受到统计学者的高度重视.统计界元老J.Neyman甚至称它为统计判决的“两大突破”之一.几十年来，许多学者将Robbins的思想用于种种统计问题，得到了一些重要结果.前面曾经指出，贝叶斯方法的困难之一，就在于要求参数具有一定的先验分布.即使在某项具体问题中可认为这个要求是合理的，参数的先验分布一般也无法预知，因而往往对它做一种人为性规定.因为当先验分布的指定与实际情况不符时，所得的解会受到较大影响，这样以来在对先验分布无法基本
2、确定时，贝叶斯方法的适用性和优越性就受到限制.经验贝叶斯方法就是针对这个问题提出的.经验贝叶斯方法分为两类，一是非参数经验贝叶斯方法，二是参数经验贝叶斯方法.3.1非参数经验贝叶斯方法简介非参数经验贝叶斯方法完全不指明先验分布，在获得数据后，利用数据来估计有关分布.假定参数θ∈Θ（Θ为参数空间），θ的先验分布函数为G()θ，分布密度为π()θ.ddXD=∈()（D为决策类），损失函数为Ld(,)θ，样本空间为**X，而随机变量X∈X.于是对给定的θ，X的概率密度为fx(
3、)θ.决策函数d的风险函数为RdELdX(,)θθ==θ[](,())∫*Ldxqxd
4、(,())()θθxXR(d)称为决策函数d在给定先验分布G()θ下的贝叶斯风险Rd()==ERd[(,)]θ∫Rd(,)(),θπθθdΘ188记使贝叶斯风险最小的贝叶斯决策为d.G在实际中，G()θ往往是未知的，因此无法得到d.假G定我们在过去已经多次面对这个统计决策问题，在第i次碰到这个问题时，样本为Xi，真参数为θi.我们假定θ具有一定的先验分布G()θ，且只知道G()θ属于某个分布族F*,而θ,?θ可以看成是从分布G()θ中抽出的相互独立同分1n布的“样本”.在给定G()θ后，X,,?X是可观测的，而1nθ,,?θ是不可观测的.由于X,,?X（通
5、常称为历史样本）1n1n是来自总体mx()=fxdG(
6、)()θθG∫Θ的样本，且分布mx()与先验分布G()θ有关，故样本X,,?XG1n中也包含了G()θ的信息，n越大所包含的信息越多.现在再一次面对上述统计决策问题，得到的样本为X（通常称为当前样本），真参数值为θ.在求贝叶斯解时可以参考历史样本X,?X中获得的关于G()θ的信息，已选1n定一个决策函数d，这个d将与X,,?X有关，因而记为1nddXXX=(
7、,,)?.我们希望它的贝叶斯风险接近真正的nn1n贝叶斯决策dX()（也称为贝叶斯解）的贝叶斯风险Rd()，GG并且当n→∞时以Rd()为极限.
8、但dXX(
9、,,)?X如何计算？Gnn1首先，固定X,,?X，这时dXX(
10、,,)?X只与X有关，其贝1nnn1189叶斯风险为Rd()==RdXX((
11、,??,X))ELdXX[(,θ(
12、,,X))]nn11nnn其中E表示对(,)Xθ的联合分布求期望.由于X,,?X也是1n随机的，还要对它们求一次期望，这样得到d的“全面”贝叶斯风险为nRdERdXX*()=[((
13、,?,X))]nn1n定义3.12任何同时依赖于历史样本X,,?X和当前1n样本X的决策函数ddXXX=(
14、,,)?称为经验贝叶斯决策nn1n函数.如果对任何先验分布GF()θ∈*，有lim
15、*()()RdRd=（5.13）nnn→∞则称d为渐近最优的经验贝叶斯决策函数.n当我们考虑参数θ的经验贝叶斯估计时，满足上述极限式的d称为θ的渐近最优经验贝叶斯估计.n应当注意，在经验贝叶斯决策函数dXX(
16、,,)?X中，nn1历史样本X,,?X与当前样本的作用是不一样的.1nX,,?X的作用在于由之获得关于先验分布G()θ的信息以1n帮助选定一个尽可能接近贝叶斯解的决策函数dXX(
17、,,)?X，而推断当前参数值的任务落在当前样本Xnn1的头上.例3.20设总体X服从Poisson分布，分布律为190−θxfx(
18、)θθ=e/!x，(0x=,1,;0?θ
19、>)X,,?X为来自总体的样本，在平方损失下求参数θ的经1n验贝叶斯估计.解设先验分布为G()θ，则X的边缘分布密度为∞x−θmx()=(θexdG/!)()θ(0x=,1,)?G∫0，在平方损失下，θ的贝叶斯估计为后验均值∞x+−1θ(1/!)xe∫θθdG()mx(1+)0GdxEX()==(
20、)θ=(1)x+G∞(1/!)xex−θdG()mx()∫θθG0若G()θ未知，但有了历史样本X,,?X，它们来自总体1nmx()，故可由样本估计mx()GG取mx()的估计为G1mxˆ(
21、,xx??)={(,xx中等于的个数)+x1}Gn11nn+1以此代替
22、θ的贝叶斯估计中的mx()，可得到θ的经验贝叶G斯估计mXˆ(1+
