马尔柯夫过程(设备可靠性教程.ppt

《马尔柯夫过程(设备可靠性教程.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、马尔柯夫过程潘尔顺副教授上海交通大学工业工程与管理系7/25/2021主要内容基本概念马尔柯夫过程马尔柯夫状态转移图马柯夫转移矩阵7/25/2021基本概念随机过程（RandomProcess）—随机事件的变化过程。随机过程无确定的变化形式及必然的变化规律，因而不可能用精确的数学关系式来表达，但可用随机函数来描述。随机函数X(t)在时间t1时的取值，称为X(t)在t=t1时的状态，它也是随机变量，而t则称为过程参数。两者所有可能值的集合，分别称为“状态空间”和“参数空间”7/25/2021基本概念当系统完全由定义状态

2、的变量值来描述时，则称这个系统处于一种状态。当描述系统的变量从一种状态的特定值变化到另一种状态的特定值时，则称改系统实现了状态的转移。马尔柯夫过程就是研究系统的“状态”与“状态”间的相互转移关系的。状态转移图-图15-47/25/2021马尔柯夫过程在系统可靠性的研究中，值得注意的一种性质就是随机变量X(t)在任意时刻tn时的状态X(tn)与过去所有时刻ti(1in-1)时的状态X(ti)间的关系。对于这一性质，可用下述条件概率来描述：当随机过程中出现的系统状态已定时，则出现下一个系统状态X(tn)=xn的条件概

3、率为则称7/25/2021马尔柯夫过程当条件概率为时，则称X(tn)与过去历史无关，即为独立随机过程当条件概率为时，则称X(tn)仅与前一状态X(tn-1)有关而与更前的状态无关。这一随机过程就是最简单的马尔柯夫过程，称为“一步马尔柯夫过程”或“简单马尔柯夫过程”7/25/2021马尔柯夫过程将上述过程推广到一般，则马尔柯夫过程是这样一种随机过程，即其随机变量在任意时刻tn时的状态X(tn)，仅与其前有限次数之内的状态X(tn-i-1),X(tn-i-2),…,X(tn-i)有关，而与以前的状态无关。马尔柯夫过程所具

4、有的这种更以前的各种状态不影响现状态X(tn)的性质，称为“马氏性”或“无后效性”，“无记忆性”。而马尔柯夫过程又称为“无记忆过程”。7/25/2021马尔柯夫过程为了方便，现将状态X(tn)记为j,X(tn-1)记为i，则式可写为条件概率Pij称为过程从状态i到状态j的转移概率。如果马尔可夫过程从一个给定状态向另一个状态转移的概率仅与两状态的相对时间有关，而与观测时刻无关，或具体观测时间变化时其转移概率值仍不变，即则称为“稳态马而可夫过程”，“平稳~”，“齐次~”。7/25/2021马尔柯夫状态转移图马尔可夫的状态

5、转移，可用马尔可夫状态转移图来说明例：一台可修复的设备存在着正常运行状态i和故障状态j间的状态转移问题。如果该设备在运行了一段时间后处于状态i的概率为2/3，则它转移到状态j的概率为1-2/3=1/3。简记为Pii=2/3，Pij=1/3。反之，如果该设备处于状态j而经过维修后转移到状态i的概率是3/4，那么它处于状态j的概率则为1-3/4=1/4，简记为Pji=3/4,Pjj=1/47/25/2021马尔柯夫状态转移图用马尔可夫状态转移图可以简单而清晰地反映这一过程。因此，在用马尔可夫过程求解系统或设备的状态概率时

6、，应首先作出相应的状态转移图，并填入有关概率值，则会一目了然并方便求解。ij图2马尔可夫状态转移图7/25/2021马尔柯夫转移矩阵图2所示的马尔可夫状态转移过程，也可用马尔可夫转移矩阵或简称“转移矩阵”，“概率矩阵”来表达：矩阵中的元素均为转移概率，例如，Pij为由状态i至状态j的转移概率。矩阵行的位置为状态转移的起始位置，矩阵列的位置为状态转移的达到位置。7/25/2021马尔柯夫转移矩阵对于n状态的系统，若可能产生的状态为S1,S2,…,Sn，且在状态Si产生后，状态j产生的条件概率为Pij（转移概率），若由最

7、初的分布中随机地选出Si的概率为ai，则当此事件群的条件概率为一定值且关系式成立时，称此关系式为马尔可夫链。当可能产生的状态为有限个时，又称为有限马尔可夫链。7/25/2021马尔柯夫转移矩阵且有n状态系统的转移矩阵为nn的方阵转移矩阵的各元素均为不大于1的非负元素，而每一行中的各元素之和均等于1。7/25/2021马尔柯夫转移矩阵系统初始状态的概率向量由分量组成：当从某一状态I开始时，通常取该状态的概率分量Pi=1,而其它分量取为07/25/2021例题—某系统的状态转移图如图所示。若该系统的初始状态的概率向量，

8、求各次转移后系统所处的状态。当又该如何？马尔柯夫转移矩阵解：由图可知转移矩阵为7/25/2021由得马尔柯夫转移矩阵7/25/2021当时马尔柯夫转移矩阵7/25/2021马尔柯夫转移矩阵随着转移步数n的增加，状态趋于稳定。稳定状态的概率称为极限概率。例如上题中最后稳定在：正常状态为4/9；故障状态为5/9，这是极限状态概率。马尔可夫过程的特性