贝叶斯统计读书报告

《贝叶斯统计读书报告》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、苏州大学研究生考试答卷封面考试科目：贝叶斯统计考试得分：________________院别：数学科学学院专业：应用统计专硕学生姓名：林挺挺学号：20154507001授课教师：朱信枢考试日期：年月日贝叶斯统计读书报告一、背景——贝叶斯学派的起源与发展简介在国际统计学术界中有贝叶斯统计和经典统计两大学派，这两个学派之间长期存在争论，至今也没有定论。贝叶斯学派起源于贝叶斯的《机会学说中一个问题的解》，随后拉普拉斯不仅独立的发现了贝叶斯定理，而且阐述的比贝叶斯更为清晰，并用它来解决天体力学、医学统计和法学问题

2、。二十世纪50年代后，经拉姆齐、杰弗里斯、萨维奇等统计学家的努力，形成了系统的方法和学说，日益受到人们的重视，并渗透到非统计领域。事实上，这两个学派的争论构成了现代数理统计发展过程的一个特色。英国统计学家Lindely认为21世纪将是贝叶斯统计的世界，而Efrom认为出现这个局面的可能性只有15%。但无论如何，这两个学派学者都认为：这场争论对现代统计理论的发展将起着积极的促进作用。二、贝叶斯统计方法与经典统计方法的比较在统计推断的基本理论和方法两个方面，贝叶斯学派与经典学派之间存在着本质性的差异，这主要表现在以

3、下几个方面：1.经典学派在进行统计推断时，依据两类信息：一是总体信息，即统计总体服从何种概率分布，这是制定统计方法的基础；另外一个是样本信息，即观察或实验的结果。贝叶斯学派则除了以上两类信息外，尚利用另外一类信息，即总体分布中未知参数的分布信息。2.经典学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论，如在Neyman的区间估计理论中，“某区间估计[θ,θ]的置信水平为1-α”这一推断，此处应θ理解为一无随机性的未知参数，当区间估计[θ,θ]反复大量使用时，100次中大约平均有(1-α)100次包

4、含了参数θ。与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相信程度，它并不依赖时间能否重复。3.贝叶斯方法只能基于参数的后验分布来分析问题。也就是说，在获得后验分布后，如果把样本、原来的统计模型(包括总体分布和先验分布)都丢掉，一点也不会影响将来的统计推断问题，凡是符合这个准则的推断就是贝叶斯推断。就此，经典学派中的矩估计、显著性检验和置信区间估计都不属于贝叶斯推断的范畴，但MLE估计则可视为均匀先验分布之下的贝叶斯估计。因此，作为经典学派中一个很重要的极大似然估计，不过是在一种很特殊先

5、验分布下的贝叶斯估计而已。三、第一章先验分布和后验分布1.1贝叶斯公式(一)贝叶斯公式的密度函数形式1.依赖于参数θ的密度函数在经典统计中记为p(x;θ)或pθ(x),它表示在参数空间Θ={θ}中不同的θ对应不同的分布。可在贝叶斯统计中记为p(x

6、θ)它表示在随机变量θ给定某个值时，总体指标X的条件分布。2.根据参数θ的先验信息确定先验分布π(θ)。这是贝叶斯学派在最近几十年里重点研究的问题。3.从贝叶斯观点看，样本x=(x1,…,xn)的产生要分两步进行。首先设想从先验分布π(θ)产生一个样本θ‘，这一步是“

7、老天爷”做的，人们是看不到的，故用“设想”二字。第二部是从总体分布p(x

8、θ‘)产生一个样本x=(x1,…,xn),这个样本是具体的，人们能看到的，此样本x发生的概率是与如下联合密度函数成正比。pxθ‘=i=1npxiθ‘这个联合密度函数是综合了总体信息和样本信息，常称为似然函数，记为L(θ‘)。频率学派和贝叶斯学派都承认似然函数，两派认为：在有了样本观察值x=(x1,…,xn)后，总体和样本中所含θ的信息都被包含在似然函数L(θ‘)之中，可在使用似然函数作统计推断时，两派之间还是有差异的。4.由于θ‘是设想出

9、来的，它仍然是未知的，它是按先验分布π(θ)而产生的，要把先验信息进行综合，不能只考虑θ‘，而应对θ的一切可能加以考虑。故要用π(θ)参与进一步综合。这样一来，样本x和参数θ的联合分布hx,θ=p(x

10、θ)π(θ)把三种可用的信息都综合进去了。5.我们的任务是要求未知数θ做出统计推断。在没有样本信息时，人们只能据先验分布对θ作出推断。在有样本观察值x=(x1,…,xn)之后，我们依据hx,θ对θ作出推断。为此我们需把hx,θ作如下分解：hx,θ=π(θ

11、x)m(x)其中m(x)是x的边缘密度函数。mx=Θhx,

12、θdθ=Θp(x

13、θ)π(θ)它与θ无关，或者说，m(x)中不含θ的任何信息。因此能用来对θ作出推断的仅是条件分布π(θ

14、x)。它的计算公式是πθx=h(x

15、θ)m(x)=p(x

16、θ)π(θ)Θp(x

17、θ)π(θ)dθ这就是贝叶斯公式的密度函数形式。这个在样本x给定下，θ的条件分布被称为θ的后验分布。它是集中了总体、样本和先验等三种信息中有关θ的一切信息，而又是排除一切与θ无关的信息之