多模型贝叶斯平均法及MCMCppt课件

《多模型贝叶斯平均法及MCMCppt课件》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

多模型问题的贝叶斯模型平均组合预测法

1预测方法单一模型预测方法：灰色预测模型多元统计BP神经网络法等。多模型预测方法：加权平均法最优模型修正最小方差法等

2贝叶斯模型平均组合预测贝叶斯模型平均组合预测克服了其他预测模型的以下缺点：第一，未考虑主观先验信息。第二，没有充分提取各预测方法正确的预测信息。第三，没有考虑模型的不确定因素。贝叶斯模型平均组合预测的关键是计算后验概率，计算后验概率的关键是计算边际似然，边际似然是一个高维、复杂的积分。目前比较好的方法是马尔科夫蒙特卡洛法。优点：1、当用不同的条件概率分布时，不需要改变运算法则。2、全面考虑了贝叶斯模型平均的权重和方差的后验概率。

3贝叶斯模型平均法（BMA）基本表述其中为BMA法对系统响应的组合预测值；最后一项是各单一模型Mk的预测值，t为变量；Pr(Mk|D)为给定数据D下模型的后验概率。BMA法的实质：以各模型的后验概率为权重，对单一模型的预测值进行加权平均得到贝叶斯模型平均值。

4蒙特卡洛算法蒙特卡洛算法基本思想：当所求解问题是某种随机事件出现的概率，或者是某个随机变量的期望值时，通过某种“实验”的方法，以这种事件出现的频率估计这一随机事件的概率，或者得到这个随机变量的某些数字特征，并将其作为问题的解。步骤：（1）构造或描述概率过程（2）实现从已知概率分布抽样（3）建立各种估计量

5马尔科夫链简介马尔可夫链（MarkovChain），描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一个数列。马尔可夫性质：

6

7

8使用矩阵的表示方式，转移概率矩阵记为：假设当前这一代人处在下层、中层、上层的人的比例是概率分布向量π0=[π0(1),π0(2),π0(3)]，那么他们的子女的分布比例将是π1=π0*P,他们的孙子代的分布比例将是π2=π1*P=π0*P^2,……,第n代子孙的收入分布比例将是πn=πn-1*P=π0*P^n。根据这种算法，我们首先分别假设初始概率分布π0=[0.21,0.68,0.11]和π0=[0.75,0.15,0.1]，则我们可以迭代计算前n代人的分布状况如下

9计算结果

10马氏链的收敛我们发现，两次给定不同的初始概率分布，最终都收敛到概率分布π=[0.286,0.489,0.225]，也就是说收敛的行为和初始概率分布π0无关。这说明这个收敛行为主要是由概率转移矩阵P决定的。我们计算一下P^nP^20=P^21=⋯=P^n=我们发现，当n足够大的时候，这个P^n矩阵的每一行都是稳定地收敛到π=[0.286,0.489,0.225]这个概率分布。自然的，这个收敛现象并非是我们这个马氏链独有的，而是绝大多数马氏链的共同行为。

11马氏链定理：如果一个非周期马氏链具有转移概率矩阵P,且它的任何两个状态是连通的，那么存在且与i无关，记=π(j),我们有其中π称为马氏链的平稳分布。马氏链定理

12Metropolis-Hastings算法细致平稳条件：非周期马氏链的转移矩阵P和分布π(x)满足π(i)*Pij=π(j)*Pji(foralli,j)细致平稳条件的物理含义就是对于任何两个状态i,j,从i转移出去到j而丢失的概率质量，恰好会被从j转移回i的概率质量补充回来，所以状态i上的概率质量π(i)是稳定的，从而π(x)是马氏链的平稳分布。简单验证：m=π(1)*P12-π(2)*P21=0.286*0.28-0.489*0.15=0.0067

13Metropolis-Hastings算法假设我们已经有一个转移矩阵为Q马氏链(q(i,j)表示从状态i转移到状态j的概率，也可以写为q(j|i)或者q(i→j)),显然，通常情况下p(i)q(i,j)≠p(j)q(j,i)也就是细致平稳条件不成立，所以p(x)不太可能是这个马氏链的平稳分布。我们可否对马氏链做一个改造，使得细致平稳条件成立呢？譬如，我们引入一个α(i,j),我们希望p(i)q(i,j)α(i,j)=p(j)q(j,i)α(j,i)取什么样的α(i,j)以上等式能成立呢？最简单的，按照对称性，我们可以取α(i,j)=p(j)q(j,i)，α(j,i)=p(i)q(i,j)

14Metropolis-Hastings算法于是我们把原来具有转移矩阵Q的一个很普通的马氏链，改造为了具有转移矩阵Q′的马氏链，而Q′恰好满足细致平稳条件，由此马氏链Q′的平稳分布就是p(x)。在改造Q的过程中引入的α(i,j)称为接受率，物理意义可以理解为在原来的马氏链上，从状态i以q(i,j)的概率转跳转到状态j的时候，我们以α(i,j)的概率接受这个转移，于是得到新的马氏链Q′的转移概率为q(i,j)α(i,j)。假设我们已经有一个转移矩阵Q(对应元素为q(i,j)),把以上的过程整理一下，我们就得到了如下的用于采样概率分布p(x)的算法。

15Metropolis-Hastings算法上述过程中p(x),q(x|y)说的都是离散的情形，事实上即便这两个分布是连续的，以上算法仍然是有效，于是就得到更一般的连续概率分布p(x)的采样算法，而q(x|y)就是任意一个连续二元概率分布对应的条件分布。

16Metropolis-Hastings算法的改进以上算法已经能满足实际要求，但是有时候接受率α很低，这样采样过程中马氏链容易原地踏步，收敛到平稳分布p(x)的速度太慢，我们需要提升接受率来提高效率。假设α(i,j)=0.1,α(j,i)=0.2,此时满足细致平稳条件，于是p(i)q(i,j)×0.1=p(j)q(j,i)×0.2上式两边扩大5倍，我们改写为p(i)q(i,j)×0.5=p(j)q(j,i)×1这样我们提高了接受率，而细致平稳条件并没有打破。这告诉我们可以将两边的α同比例扩大并使一个较大的α扩大到1。

17Metropolis-Hastings算法的改进

18illustrationoftheMetropolissamplertosamplefromtargetdensity.(A)thecurrentstateofthechainisθ(t).(B)aproposaldistributionaroundthecurrentstateisusedtogenerateaproposalθ*(C)theproposalwasacceptedandthenewstateissetequaltotheproposal,andtheproposaldistributionnowcentersonthenewstate.

19Metropolis-Hastings算法的简单例子我们要用MH算法对标准高斯分布进行采样，转移函数(对称)是方差为0.05的高斯矩阵matlab代码如下：n=250000;x=zeros(n,1);x(1)=0.5;fori=1:n-1x_c=normrnd(x(1),0.05);ifrand

20Metropolis-Hastings算法的简单例子%%利用Metropolis-Hastings算法产生样本%这里的样本分布为：p(x)=C*x.^(-n/2)*exp(-a/(2x));%对于参数n=5，参数a=4.xlen=200000;x=zeros(1,xlen);x0=1;len=length(x);k=1;whilek<=lennextx=100*rand();%computethepfromx0pn=(nextx^(-2.5))*(exp(-2/(nextx)));p0=(x0^(-2.5))*(exp(-2/(x0)));p=min(pn/p0,1);ifp>=1

21Metropolis-Hastings算法的简单例子x(k)=nextx;x0=nextx;k=k+1;elsepp=rand();ifpp

22Metropolis-Hastings算法的简单例子

23Metropolis-Hastings算法的简单例子xx=0:0.1:100;n=5;a=4;C=1;y=C.*xx.^(-n/2).*exp(-a./(2*xx));figure;plot(y);