资源描述：
《2016Lec11-Markov链》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、第十一章Markov链§1马尔可夫过程及其概率分布•马尔可夫性(无后效性)过程(或系统)在时刻?0所处的状态为已知的条件下，过程在时刻?>?0所处状态的条件分布不过程在时刻?0乊前所处的状态无关。通俗地说，就是在已经知道过程“现在”的条件下，其“将来”丌依赖亍“过去”。2016/12/222§1马尔可夫过程及其概率分布用分布函数表述马尔可夫性：设随机过程*?(?),?∈?+,其状态空间为?,对参数集?中任意?个数值?1
2、?∈?+具有马尔可夫性或无后效性，并称此过程为马尔可夫过程2016/12/223§1马尔可夫过程及其概率分布例1：设*?(?),?≥0+是独立增量过程，且?(0)=0，证明：*?(?),?≥0+是一个马尔可夫过程。证：对?中任意n个数值?1
3、由上例知，泊松过程是时间连续状态离散的马氏过程，维纳过程是时间状态都连续的马氏过程2016/12/224§1马尔可夫过程及其概率分布时间和状态都离散的马尔可夫过程称为马尔可夫链，简称马氏链，记为：*??=?(?),?=0,1,2,…+,参数集?=*0,1,2,…+，记链的状态空间为：?=?1,?2,…，??∈?马尔可夫链用条件分布律来表示为：对任意的正整数?,?和0≤?1
4、/225§1马尔可夫过程及其概率分布•条件概率：????,?+?=?(??:?=??
5、??=??)称为马氏链在时间?处亍状态??条件下，在时间?+?转移到状态??的转移概率•转移概率性质：∞????,?+?=1,?=1,2,…?<1这是因为链在时刻?以任何一个状态??出发，到另一个时刻?+?必然转移到?1,?2,…诸状态中的某一个2016/12/226§1马尔可夫过程及其概率分布•转移概率矩阵：?11(?,?+?)?12(?,?+?)⋯??,?+?=?21(?,?+?)?22(?,?+?)⋯⋮⋮⋱此矩阵的每一行元素乊和等亍1•当????,?+?只不?,?及?
6、有关时，把它记为????，即????=????,?+?=???:?=??
7、??=??=???=??
8、?0=??称此转移概率为马氏链的?步转移概率•当转移概率具有这种平稳性时，称此链是齐次马氏链2016/12/227§1马尔可夫过程及其概率分布在齐次马氏链中，?步转移概率矩阵为：?11(?)?12(?)⋯??=?21(?)?22(?)⋯⋮⋮⋱一步转移概率记为：???=???1=???:1=??
9、??=??一步转移概率矩阵记为：??:1状态??1?2⋯??=?1=?1?11?12⋯状?2?21?22⋯态⋮⋮⋮⋱2016/12/228§1马尔可夫过程及其概率分布例
10、2：(0-1传输系统)如图所示，只传输数字0和1的串联系统中，设一级的传真率为?，误码率为?=1−?。并设一个单位时间传输一级，?0是第一级的输入，??是第n级的输出(n≥1)，那么*??,?=0,1,2…+是一随机过程，状态空间?=*0,1+，而且当??=?为已知时，??:1所处的状态的概率分布只不??=?有关，而不时刻?以前所处的状态无关。所以它是一个马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为：??=????=???:1=???=?=??≠?,?,?=0,1???=???0?1?2??;1??12n2016/12/229§1马尔可夫
11、过程及其概率分布(a)原图象(b)从模拟BSC(=0.2)接收的图象(c)迭代五次的恢复结果2016/12/2210§1马尔可夫过程及其概率分布例3：一维随机游动。设一醉汉Q(或看作一随机游动的质点)在直线上的点集?=*1,2,3,4,5+作随机游动且仅在1秒、2秒等时刻发生游动，游动的概率规则是：如果Q现在位亍点?(1
12、2211§1马尔可夫过程及其概率分布解：以??表示时
