蒙特卡洛方法及在一些统计模型中应用的论文

《蒙特卡洛方法及在一些统计模型中应用的论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、山东大学博士学位论文蒙特卡洛方法理论及在一些统计模型中的应用邵伟(山东大学数学学院，山东济南250100)摘要随着当代计算机技术的发展，蒙特卡洛方法(又称为统计模拟方法)已经成为人们解决复杂统计模型和高维问题的主要工具．特别是经过最近几十年的发展，蒙特卡洛方法已经极大地拓展了人们的科学视野，不管是从早期计算物理学的发展，还是到现代的计算生物学，都使人们可以研究许多极其复杂的系统．人们第一次系统的应用蒙特卡洛方法解决世纪科学问题是在二十世纪四十年代．由予世界上第一台可编程超级计算机就在这时候诞生，为了能够更好地利用这台电子计算机，一批物理学和统计学家(S．Ulam，

2、J．vonNeumann，N．Metropolis，E．Fermi等)发明了一种依赖统计抽样解决复杂问题的方法，并成功将其应用于原子弹设计和薛定谔方程特征根的数值计算．二十世纪五十年代，一批统计物理学家(N．Metropolis，A．Rosenbluth，M．Rosen—bluth，A．Teller和E．Teller等)第一次引入了一种基于马尔科夫链的动态蒙特卡洛方法，随后被用来模拟一些复杂的物理系统，包括Ising模型，spinglass模型等．这种马尔科夫链蒙特卡洛方法被称为Metropolis算法，它是也是第一个基于迭代模拟的抽样方法．Hastings在19

3、70年将其推广得到Metropolis-Hastings算法，这个算法形式及其简单．这里我们假设目标分布为丌，初始值为弱，这个迭代算法从X。到K+。的抽样包含如下两步：Step1．从一个任意给定的建议转移概率密度g(墨。，可)得到“建议抽样”Y．Step2．以概率d(Xn,y)=rain{1，糕)，接受“建议抽样”y，并设j乙+1=可：否则，以1一佃的概率拒绝“建议抽样”y，并设％+1=K．二十世纪八十年代，统计学家和计算机学家将蒙特卡洛方法应用于一系列实际应用模型，其中包括组和最优化问题(模拟退火算法[57；70】)，非参数统计推断(jackknifeI山东大学

4、博士学位论文和Bootstrap[24；17】)，缺失数据下似然函数的计算(EM算法[19；99]和数据扩张算法【101；70；990，统计遗产算法，贝叶斯建模和贝叶斯计算[100；99]等等．特别是进入二十世纪九十年代，蒙特卡洛方法在计算生物学中扮演了十分重要的角色，并成功解决了基元序列识别(sequencemotifidentification【70])问题和分析复杂谱系．如今，蒙特卡洛方法已经在生物学，化学，计算机科学，经济与金融，气象学，材料科学，物理学，统计学等等很多领域扮演重要角色，并被广泛应用．作为一种特殊的蒙特卡洛方法，马尔科夫链蒙特卡洛方法由于可

5、以适用于一些更复杂的统计模型和一些更微观的分子模型，最近越来越受到统计学家的关注，并取得了长足发展．马尔科夫链蒙特卡洛方法的最核心的步骤就是抽样，给定目标函数(通常这个目标函数非常复杂多峰甚至是高维目标分布)，如何高效的从这个目标分布中抽样成为其它一切问题(例如，参数估计，积分，最优化问题)的关键步骤．随机游走Metropolis算法作为Metropolis-Hastings算法的一种特例，由于其简单明确的形式，被人们广泛应用于实际中．对于同样的目标分布7r，随机游走Metropolis算法选择对称的建议分布(即Metropolis-Hastings算法中q(z，

6、Y)=q(y，z))，从而Metropolis比率＆变为a(m)=rain{1，嵩)．虽然随机游走Metropolis算法从理论上可以对任意给定目标分布丌进行抽样，甚至与目标分布维数无关．可是，算法本质上是一个局部更新算法(10calupdate)．对于实际应用中的大多数分布，它们都有着复杂的解析形式(多峰或者高维)，从而导致了随机游走Metropolis算法极低的抽样效率，甚至在有限的迭代步数内达不到平稳分布．这就是蒙特卡洛抽样算法中所谓的“局部陷阱”(10cal—trap)问题．从而，设计一个好的马尔科夫链蒙特卡洛抽样方法，并克服“局部陷阱”问题，已经越来越引

7、起人们的关注，并被认为是马尔科夫链蒙特卡洛方法的重要研究方向．最近几十年，为了克服“局部陷阱问题”，许多高级马尔科夫链蒙特卡洛抽样方法先后被人们提出，并在特定的情况下，有它们自己的优势．其中包括模拟回火(simulatedtempering)【75；35；70】；Metropolis—AdjustedLangevin算法[91]．并行回火算法(paralleltempering)[36；70]；自适应拒绝Metropolis算法(adaptiverejectionmetropolissampling)[41；40]；多测试点Metropolis算法(Multipl

8、e-Try