贝叶斯推理课件不错.ppt

《贝叶斯推理课件不错.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Chp11：贝叶斯推断内容:贝叶斯观点和贝叶斯方法贝叶斯推断vs.频率推断1贝叶斯观点和贝叶斯方法从频率到信念2频率学派的观点到目前为止我们讲述的都是频率（经典的）统计学概率指的是相对频率，是真实世界的客观属性。参数是固定的未知常数。由于参数不会波动，因此不能对其进行概率描述。统计过程应该具有定义良好的频率稳定性。如：一个95％的置信区间应覆盖参数真实值至少95％的频率。统计学更多关注频率推断3贝叶斯学派的观点贝叶斯推断采取了另外一个不同的立场：概率描述的是主观信念的程度，而不是频率。这样除了对从随机变化产生的数据进行概率描述外，我们还可以对其他事物进行概率描述。可以对各个参数进行概率

2、描述，即使它们是固定的常数。为参数生成一个概率分布来对它们进行推导，点估计和区间估计可以从这些分布得到机器学习和数据挖掘更偏爱贝叶斯推断4贝叶斯方法贝叶斯推断的基本步骤如下：选择一个概率密度函数，用来表示在取得数据之前我们对某个参数的信念。我们称之为先验分布。选择一个模型（在参数推断一章记为）来反映在给定参数情况下我们对x的信念。当得到数据X1,X2,…Xn后，我们更新我们的信念并且计算后验分布。从后验分布中得到点估计和区间估计。5回忆贝叶斯规则亦称贝叶斯定理条件概率利用贝叶斯规则将数据和参数的分布联合起来6似然函数假设我们有n个IID观测，记为,产生的数据为，记为，我们用如下公式替代

3、现在似然函数真正解释为给定参数下数据的概率7后验概率因此后验概率为其中被称为归一化常数(normalizingconstant)。该常数经常被忽略，因为我们关心的主要是参数的不同值之间的比较。所以也就是说，后验和似然函数与先验的乘积成正比8贝叶斯点估计后验的均值是一个常用的点估计L2损失下的贝叶斯规则极大后验估计(maximumaposteriori，MAP)是使后验最大的的值：是另一个常用的点估计0-1损失下的贝叶斯规则9贝叶斯置信区间估计为了得到贝叶斯区间估计，我们需找到a和b，使得令因此C称为后验区间。注意：在多次试验中,并不保证θ在(1−α)100%的次数会落在后验区间内。事实

4、上，在复杂的高维模型中，当样本数很少时，覆盖概率可能接近于0。注意：是随机的10例：BernoulliI令，假设先验为均匀分布，根据贝叶斯公式，后验为其中为成功的次数。11例：BernoulliI为了得到后验的均值，我们必须计算在这个例子中可以解析计算。后验恰好为Beta分布其中参数，，均值为12例：BernoulliIp的极大似然估计为，为无偏估计。贝叶斯估计还可以写成其中为先验的均值，13例：BernoulliII现在假设先验不是均匀分布，而是则后验为Beta分布，参数为和，即后验的均值为其中为先验的均值。先验和后验为相同的分布族：共轭如例子中的Beta分布14例：正态分布令，为简

5、单起见，假设已知，并假设先验为对θ而言为常数对θ而言为常数15例：正态分布将二者相乘，去掉一些常数项，最后得到一个正态分布形式的核最后，θ的后验为其中为MLE的标准误差。16例：正态分布当时，，当n很大时，后验近似为当n固定而时，对应先验趋近于均匀分布，上述结论也成立17例：正态分布计算后验区间，使得所以且因此，由于，所以最后95%的贝叶斯后验区间为由于，，也可用近似，同频率置信区间18参数的函数问题：已知的贝叶斯后验分布为，求的后验分布两种方法：利用CDF的定义，先求的CDF，然后求后验密度，其中CDF为仿真/模拟方法19仿真(Simulation)可以通过仿真而不是解析计算来得到点

6、估计和区间估计。假设我们抽取样本则的直方图可以近似后验密度后验的均值近似为后验的置信区间为，其中为样本的样本分位数(quantile)一旦从中抽取样本，令则为来自。这样避免了解析计算但仿真可能很复杂/困难20例：Bernoullil抽样：令则为的IID，用直方图方法可以估计21MLE和贝叶斯令为的极大似然估计，标准误差为在合适的正则条件下，后验均值的渐近分布为也就是说，另外，若为渐近频率的置信区间，则也是贝叶斯后验的区间：22MLE和贝叶斯定义则分别展开23MLE和贝叶斯将先验也展开I0为先验中θ的信息m0最大化f(θ)24MLE和贝叶斯定义结合展开，得到25MLE和贝叶斯后验简化为结

7、论：当n相对参数数目很大时，如果先验符合真正的知识，则贝叶斯区间和频率区间相同。当数据越多时，先验的影响越弱。26先验知识从哪儿来呢？我们可能在观测数据之前就有一些主观观点或真正的先验知识。但是，通常我们并没有真正的先验知识或者我们在贝叶斯估计时想更客观些，这时可以选择无信息的先验(noninformativeprior)。或者可以从数据估计先验。这被称为经验贝叶斯(empiricalBayes)，有时亦称第II类的极大似然(TypeIImax