马尔科夫链蒙特卡

《马尔科夫链蒙特卡》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、理论马尔科夫链模拟吉布斯抽样贝叶斯推断其他算法孔文涛回顾——马尔科夫过程马尔科夫链模拟及MCMC方法马尔科夫链模拟及MCMC方法马尔科夫链模拟及MCMC方法转移概率矩阵的定义。定义：对于一个马尔可夫链，称由状态i经过m步转移到状态j的转移概率为元素，组成的矩阵为转移概率矩阵，用表示。当m=1时的转移概率矩阵为，就是一步转移概率矩阵，将其简记为，简称为转移矩阵。马尔科夫链模拟及MCMC方法考虑“缺失值”的问题。Dempster，Laird和Rubin(1977)提出EM算法来解决数据分析时“缺失值”的问

2、题。M步：如果缺失值是可以得到的，能够利用完全数据分析的方法来建立一个波动率模型。E步：给定可以利用的数据及拟合的模型，能够推导出缺失值的统计分布。马尔科夫链模拟及MCMC方法Tanner和Wong(1987)以两种方式扩展了EM算法。首先：引进迭代模拟的思想——从条件分布中抽取一个随机数来代替缺失值。第二：利用数据扩张的概念扩展了EM算法的应用——在研究的问题中加入一个辅助变量。吉布斯抽样Geman(1984)、Gelfand和Smith(1990)提出的MCMC方法。通过一个三个参数的简单问题来引

3、进吉布斯抽样的思想。吉布斯抽样吉布斯抽样吉布斯抽样对一个充分大的m，渐近等价于来自三个参数的联合分布的一个随机抽取。实际中，我们利用一个充分大的n，并且丢掉吉布斯迭代的前m个随机抽取，建立一个吉布斯样本，即因为前面的迭代从联合分布中建立了一个随机样本，所以可以利用它们来作出统计推断。吉布斯抽样吉布斯抽样具有将一个高维的估计问题利用所有参数的条件分布分解为几个较低维数问题的优点。N个参数的高维问题转化为N个1维的条件分布迭代地解决。当参数高度相关时，联合地抽取。吉布斯抽样收敛性问题理论：仅仅指出当迭代次

4、数m充分大时收敛发生，没有对m的选择提供具体的指导。有多种检验吉布斯样本收敛性的方法，但没有哪种方法最好的一致结论。实际：并不能保证对所有的应用都是收敛的。必须仔细地执行，以保证没有明显的对收敛性要求的违背。贝叶斯推断——后验分布条件后验分布：在数据、其它参数和一定模型给定的条件下参数的分布。贝叶斯推断是将先验的思想和数据结合，得到后验分布，然后基于后验分布进行统计推断。贝叶斯分析寻求将关于参数的知识与数据相结合来作出推断，参数的知识是通过对参数预先指定一个先验分布表示的，记为。贝叶斯推断——后验分布

5、贝叶斯推断——共轭先验分布由方程(2)得到的后验分布一般不是简单的，但也有先验分布与后验分布属于同样的分布族的情形，这样一个先验分布称为共轭先验分布。对MCMC方法，共轭先验的使用可以得到条件后验分布的一个显示解，然后可以利用通常的概率分布的计算机程序得到吉布斯样本的随机抽取。其他算法——Metropolis算法条件后验分布没有显示解。假定我们希望从分布中抽取一个随机样本，它包含一个负杂的标准化常数，直接的抽取要么太浪费时间，要么不可行。但是存在一个近似的分布，可以很容易地得到随机抽取。Metropo

6、lis算法就是从近似分布中产生一系列的随机抽取，使得它们的分布函数收敛到。其他算法——Metropolis算法具体算法如下进行：其他算法——Metropolis算法其他算法——Metropolis-Hasting算法其他算法——格子吉布斯算法在金融应用中，ARMA或者波动率等模型可能包含一些非线性参数，而这些参数的条件后验分布没有显示表示，执行吉布斯抽样或者Metropolis-Hasting算法可能会变得复杂。Tanner(1996)描述了当条件后验分布是1元时，在吉布斯抽样中得到随机抽取的一个简单

7、程序，这个方法称为格子吉布斯抽样(GriddyGibbs)。其他算法——格子吉布斯算法研究动态——马尔科夫链及MCMC方法马尔科夫是享誉世界的著名数学家，社会学家。他研究的范围很广，对概率论、数理统计、数论、函数逼近论、微分方程、数的几何等都有建树。马尔科夫最重要的工作是在1906一1912年间，他提出并研究了一种能用数学分析方法研究自然过程的一般图式，后人把这种图式以他的姓氏命名为马尔可夫链(MarkovChain)。同时他开创了对一种无后效性的随机过程的研究，即在已知当前状态的情况下，过程的未来状

8、态与其过去状态无关，这就是现在大家耳熟能详的马尔可夫过程(MarkovProcess)。研究动态——马尔科夫链及MCMC方法马尔科夫链由马尔科夫1907年提出的，后由蒙特卡罗(MonteCarlo)加以发展而建立起来的。之后，马尔科夫过程、马尔科夫链模拟及MCMC方法得到广泛研究，广泛应用于医学、公共卫生领域，教育管理工作，经济管理领域。研究动态——马尔科夫链及MCMC方法MCMC方法最初应用于计算物理(Metropolis等，1953)，Hasting