基于mcmc方法的贝叶斯统计推断

《基于mcmc方法的贝叶斯统计推断》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、万方数据基础及前沿研究Fundamentalandfrontierresearch中国科技信息2012年第10期CHINASCIENCEANDTEC帆OGYINFORMATIONM_y．2012DOI：10．3969／j．issn．1001—8972．2012．10．024基于MCMC方法的贝叶斯统计推断赵琪山东英才学院基础部，山东济南25001摘要由贝叶斯方法得到的后验分布函数H(xl经常是复杂的，高维的，非标准形式的．时这种函数进行有关的积分计算通常十分困难。马氏链蒙特卡洛(McMc)方法为解决此委问题提供7很好的思路。关键词马氏链蒙特卡洛(M∞恸方法；贝叶斯统计；G№抽

2、样一．马氏链蒙特卡洛(MCMC)方法简介马氏链紫特卡洛方法本质上是一个蒙待卡洛综合程序．它的随机样本的产生与一条马氏链有关。其基奉思想是通过建立一个平锪分布为Ⅱ(x)的‘§氏链柬得到n(x)的样本，然后基于这些样本就可以傲各种统计推断，概括起来分为以下三步：(1)在D上选。个“合适”的马氏链．使其转移段7-P(j·)，“合适”的含义就足指石o)足其相心的平稳分柿(2)由D上的某’点X”’出发。用‘”中的马氏链产生点序列Ⅳ“’⋯⋯．，X‘”’(3)对某个卅和足够大的"，任。函数f(x)的期望估计如下．1三‘／2志∑．f(X“’>可以看出栗用MCMC方法时．构造转移核是至关莺要的

3、，不同的MCMC方法iE往也就是转移核的构造片法不Iiil。基f条件分布的迭代取样是一种重要的马氏链蒙特卡洛方法．其中最著名的特殊情况是Gibbs抽样，现在已成为统计计算的标准1=具．它最吸引入的特征是其潜在的马氏链是通过分解一系列条件分布建立起来。这就要用纠条件分布，特剔是满条件分布。所谓满条件分布就是形如，r(xr『x一，l的条件分布．其中xr=k，fEn。工一r={‘．i《T}，TcN={l，¨．．，t}。注意到·在r述的条件分布中，所有的变量全部融现了(或{15现存条件tp，或H：现在变元中)。由于Gibbs抽样只涉发单变量抽样．这使之最具吸引力。下面就介绍一下Gib

4、bs抽样方法。改给定f『一个脚维联合分布疗(z．，．．．，k)。在Gibbs抽样中{句造如下的转移核一．只，，P(工，y)=I10I砥儿iH，．．·，几_I'^”⋯，‘)其中X=(五，．．．，矗)，y=(Yl，⋯．Y。)，工f∈D，Yf∈D而万(儿lH⋯⋯YkI，‘+l'⋯，‘)是在除第七个分犀外·将第1至七一1个分量词定为Y11,-,9Yk一．-并将第k+l至第m个分量伺定为‘。⋯，‘的彖件下．第七个分量在儿处的条件分布t可验证(只。)确实是一个转移阵。即芝。Px．，=l∑。嗽‰以’=∑。糟。慧葛2l∑．^，=∑。∑、．⋯【∑．州^I乓P．，x．fix(y：IH．^⋯．～)

5、．．Jo‘IY,⋯．凡一．)=l可验证．，r(玉，．．．，k)是以p(工，)，)为转移阵的马氏链的平稳分布∑％。．}疗(一．．．．，k)瓜(葺一-，‘)’执，．．-，儿))2∑～∑～．⋯∑．州毛，．．。x．)nly·l‘，一‘I州J，2IY,．^．．．，‘)一．州几l^，．．．儿。)=∑。∑。-∑，州扣．．．‘’量专ii}j!：!砻帆‰昏-，‘I．．，rly．Im．．，k．}：∑，．∑。．⋯∑．，州弗，^．．．，t)F《奶eM·而，．．··‘)”鼻(儿}Y1．．．。丘一。)Gibbs抽样具体步骤如下：由马氏链以(埘)的样本可按以下程序得到t．．(m)的一个样本(一，¨．，儿)

6、(1)先得到服从分布{丌(舅I而，．．，，‘)，^∈Dl}得随机变量以。．(脚)·(注意毛．，．．．‘来自X(∞))．(2)再得到服从分布{石02l一。而，．．．．‘)'儿∈D2}的随机变量以“：(∞)的一个样本儿，依次下去，得到服从分布{丌(儿Iyl，⋯，儿。‘．I’⋯，k，儿∈q}的随机变量以“。(缈)的一个样本几(七=l，¨．，所一1)。最后得到服从分布{丌()_fM，⋯，)■一1)，，_∈D}的随机变量以“。(脚)的一个样本‰·定义y(M，⋯，虬)就是以+I(∞)的一个样本。现任取一个初值X。(山)=Y【ol，按上面方法得XI(03)的一个样本y‘”，XCn归纳地得到

7、置(础)，．．．，x。(co)的样本y‘2、，⋯，Y¨’，当刀充分大时，马氏链X。(缈)分布近似于石(五，⋯，X。)，就可以认为Y枷’是近似服从，r(^，．．．，吒)的一个样本。二．贝叶斯统计推断方法与贝叶斯公式贝叶斯统计发源于十八世纪英国学者贝叶斯。他的方法被以后的一些统计学家发展成一种系统的统计推断方法。到L世纪30年代已形成贝叶斯学派，到50-60年代已发展成一个有影响的统计学派，其影响还在日益扩大．贝叶斯学派的晟基本观点是：任一未知量曰都可看作随机变量．都可用一个概率分布去描述它，这个分布称为先