资源描述：
《贝叶斯估计学习资料.ppt》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、一、先验分布和后验分布二、共轭先验分布三、贝叶斯风险第3.2节 贝叶斯估计四、贝叶斯估计一、先验分布与后验分布上一章提出用风险函数衡量决策函数的好坏，但是由于风险函数为二元函数，很难进行全面比较。贝叶斯通过引入先验分布，给出了整体比较的指标.1、先验信息在抽取样本之前，人们对所要估计的未知参数所了解的信息，通常称为先验信息.例1(p84例3.6)某学生通过物理试验来确定当地的重力加速度，测得的数据为(m/s²):9.80,9.79,9.78,6.81,6.80试求当地的重力加速度.解用样本均值估计其重力加速度应该是合理的，即由经验可知，此结果是不符合事实的。
2、在估计之前我们知道，重力加速度应该在9.80附近，即这个信息就是重力加速度的先验信息.在统计学中，先验信息可以更好的帮助人们解决统计决策问题.贝叶斯将此思想应用于统计决策中，形成了完整的贝叶斯统计方法.2、先验分布对未知参数的先验信息用一个分布形式()来表示，此分布()称为未知参数的先验分布.例如例1中重力加速度的先验分布为3、后验分布在抽取样本之前，人们对未知参数有个了解，即先验分布。抽取样本之后，由于样本中包含未知参数的信息，而这些关于未知参数新的信息可以帮助人们修正抽样之前的先验信息。而样本值是在知道的先验分布的前提下得到的，因而上述分布
3、可以改写为由此可以得到例2(p86例3.7)为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资90万元，但从投资效果来看，顾问们提出两种不同的意见：经理根据以往的经验，两个顾问建议可信度分别为这两个概率是经理的主观判断（也就是先验概率），为了得到更准确的信息，经理决定进行小规模的试验，实验结果如下：A：试制5个产品，全是正品，由此可以得到条件分布：由全概率公式可以得到：其后验概率为：显然经理对二位顾问的看法已经做了修改，为了得到更准确的信息，经理又做了一次试验，结果为B：试制10个产品，9个是正品，由此可见后验分布更能准确描述事情真相.二、
4、共轭先验分布为了使得后验分布计算简单，为此引入共轭先验分布.定义3.5注共轭分布族总是针对分布中的某个参数而言的.1、共轭分布族2、后验分布核由上一小节内容可知，后验分布为可以看出，m(x)不依赖于参数,因而参数的后验分布可以写为如下等价形式：3、共轭先验分布族的构造方法共轭先验分布族共有两种构造方法.第一种方法首先计算似然函数q(x
5、),根据似然函数所含的因式情况，选取与似然函数具有相同核的分布作为先验分布.例3(p88例3.8)哪一个分布具有上述核？结论是倒分布，这是因为分布的密度函数为此分布密度为倒分布的密度函数,设²的先验分布为倒分
6、布，即则²的后验分布为显然此分布仍为倒分布，即先验分布与后验分布都为倒分布，因而倒分布是²的共轭先验分布族.例3(p88例4.9)哪一个分布具有上述核？结论是分布，这是因为分布的密度函数为设的先验分布为分布，即则的后验分布为显然此分布是分布的核，因而分布是的共轭先验分布族.经计算可知第二种方法设总体X的分布密度为p(x
7、),统计量定理3.1则是共轭先验分布族，其中例4(p89例3.10)解其似然函数为显然此共轭分布族为分布的子族，因而，两点分布的共轭先验分布族为分布.常见共轭先验分布倒分布方差²正态分布（均值已知）正态分布
8、N(,²)均值正态分布（方差已知）分布()均值的倒数指数分布分布()均值泊松分布分布(,)成功概率p二项分布共轭先验分布参数总体分布三、贝叶斯风险由第一小节内容可知，给定损失函数以后，风险函数定义为此积分仍为的函数，在给定的先验分布()时，定义为决策函数d在给定先验分布()下的贝叶斯风险，简称为d的贝叶斯风险.1、贝叶斯风险的定义2、贝叶斯风险的计算当X与都是连续性随机变量时，贝叶斯风险为当X与都是离散型随机变量时，贝叶斯风险为注由上述计算可以看出，贝叶斯风险为计算两次期望值得到,即此风险大小只与决策函数d有
9、关，而不再依赖参数.因此以此来衡量决策函数优良性更合理四、贝叶斯估计1、贝叶斯点估计定义3.6若总体X的分布函数F(x,)中参数为随机变量，()为的先验分布，若决策函数类D中存在一个决策函数使得对决策函数类中的任一决策函数均有注1、贝叶斯估计是使贝叶斯风险达到最小的决策函数.2、不同的先验分布，对应不同的贝叶斯估计2、贝叶斯点估计的计算平方损失下的贝叶斯估计定理3.2设的先验分布为()和损失函数为则的贝叶斯估计为证首先对贝叶斯风险做变换又因为又因为则因而定理3.3设的先验分布为()和损失函数为加权平方损失则的贝叶斯估计为证明略，此
10、证明定理3.2的证明类似.定理3.4设参数为随机向
