第一章 先验分布与

《第一章 先验分布与》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、贝叶斯统计学习参考书1.吴喜之，现代贝叶斯统计学，中国统计出版社，2000年10月第一版。2.张尧庭陈汉峰编著，贝叶斯统计推断，科学出版社，1991年3月。3.Berger，J.O.，StatisticaldecisiontheoryandBayesiananalysis，Secondedition，Springer-Verlag，NewYork，1985，中译本：统计决策理论及贝叶斯分析，贾乃光译，中国统计出版社，1998。4.贾乃光编著，数理统计——贝叶斯统计学，中国林业出版社，5.James等著，贝叶斯统计学：原理、模型与应用，

2、中国统计出版社，1992一、三种信息二、贝叶斯公式三、共轭先验分布四、超参数及其确定五、充分统计量第一章先验分布与后验分布§1.1三种信息总体信息：即总体分布或所属分布族给我们的信息。譬如“总体是指数分布”或“总体是正态分布”在统计推断中都发挥重要作用，只要有总体信息，就要想方设法在统计推断中使用。样本信息：即从总体抽取的样本提供给我们的信息，这是最“新鲜”的信息，且越多越好，这是任一种统计推断中都必不可少的。先验信息：即在抽样之前有关统计推断的一些信息。譬如，在估计某产品的不合格率时，假如工厂保存了过去抽检这种产品质量的资料，这些资

3、料（包括历史数据）有时估计该产品的不合格率是有好处的。这些资料所提供的信息就是一种先验信息。又如某工程师根据自己多年积累的经验对正在设计的某种彩电的平均寿命所提供的估计也是一种先验信息。由于这种信息是在“试验之前”就已有的，故称为先验信息。基于总体信息和样本信息进行的统计推断被称为经典统计学，它的基本观点是把数据（样本）看成是来自具有一定概率分布的总体，所研究的对象是这个总体而不局限于数据本身。基于总体信息、样本信息和先验信息这三中信息进行的统计推断称为贝叶斯统计学。它的基本观点是：任一个未知量θ都可看作一个随机变量，应用一个概率分布

4、去描述对θ的未知状况。这个概率分布是在抽样前就有的关于θ的先验信息的概率陈述。这个概率分布被称为先验分布。统计学中有两个主要学派：频率学派和贝叶斯学派。频率学派研究的内容称为经典统计学。贝叶斯学派研究的内容称为贝叶斯统计学。贝叶斯统计起源于英国的学者贝叶斯（Bayes,T.R.1702(?)~1761)死后发表的一篇文章“论有关机遇问题的求解”。拉普拉斯（Laplace,P.C.1749~1950)等人用贝叶斯提出的方法导出一些有意义的结果。瓦尔德（Wald,A.1902~1950)提出统计决策函数伦后又引起很多人对贝叶斯方法研究的兴

5、趣。贝叶斯统计学派与频率统计学派之间的一些争论1.经典统计学用大量重复试验的频率来确定概率、是“客观的”。贝叶斯学派认为他们将概率与统计的研究与应用范围扩大到不能大量重复的随机现象中来。2.贝叶斯认为主观概率的确定是建立在透彻的了解和丰富的经验的基础上的，这符合实际。3.贝叶斯学派认为频率学派对总体的选择也经常是主观的。§1.2贝叶斯公式贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后二年发表的一篇论文《论有关机遇问题的求解》中提出的。经过二百年的研究与应用，贝叶斯的统计思想得

6、到很大的发展，目前已形成一个统计学派—贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志《Biometrika》在1958年又全文刊登贝叶斯的这篇论文。一、贝叶斯公式的三种形式初等概率论中的贝叶斯公式是用事件的概率形式给出的。可在贝叶斯统计学中应用更多的是贝叶斯公式的密度函数形式。1.贝叶斯公式的事件形式：假定是互不相容的事件，它们之和包含事件B，即，则有：假设Ⅰ随机变量X有一个密度函数p(x;θ)，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，p(x;θ)是在给定θ后的一个条件密度函数，因此记为p(x│θ)更恰当一些

7、。这个条件密度能提供我们的有关的θ信息就是总体信息。2.贝叶斯公式的密度函数形式：在给出贝叶斯公式的密度函数形式之前，先介绍以下贝叶斯学派的一些具体思想或者称为基本假设：假设Ⅲ从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π(θ)表示。（1）先验分布定义1将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为π(θ)，称为参数θ的先验分布。假设Ⅱ当给定θ后，从总体p(x│θ)中随机抽取一个样本X1，…，Xn，该样本中含有θ的有关信息。这种信

8、息就是样本信息。（2）后验分布在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，…，Xn，和参数的联合密度函数：在这个联合密度函数中。当样本给定之后，未知的仅是参数θ了，我们关心的是样