2、(tn)=in
3、x(t1)=i1,x(t2)=i2,…,x(tn-1)=in-1}=P{x(tn)=in
4、x(tn-1)=in-1}i1,i2,…,in∈E则称{x(t),t≥0}为离散状态空间E上连续时间马尔可夫过程。特别地，如果对任意t,u≥0,均有P{x(t+u)=j
5、x(u)=i}=pij(t)i,j∈E与（始点）u无关，则称该马尔可夫过程式齐次的。Pij(t）称为从状态i到状态j的转移矩阵(函数)，内转移矩阵的全体组成的矩阵称为转移矩阵。如对n个状态系统的转移矩阵为n×n阶方阵，可写为：P=对于齐次的马氏过程，有下述关系（性质）0≤≤1;;n×n阶方阵可以证明，对系统寿命及
6、故障后的修复时间均服从指数分布时，则系统状态变化的随机过程{x(t),t≥0}是一个齐次马尔可夫过程。本章研究就是这种马尔可夫过程。为力简化起见，假设：①l，m为常数（即寿命和维修时间服从指数分布）(注意：若系统的寿命或修理时间不是指数分布，而是正态，威布尔或其他分布，它仍不是有“无记忆性”，因此不能用马氏过程来描述，同时这个假设也包含了修复如新的含义。）②部件和系统取正常和故障两种状态。③在相当小的Dt内，发生两个或两个以上部件同时进行状态转移的概率是Dt的高阶无穷小，此概率可以忽略不计。对可行系统，我们要研究的特征量主要有：瞬态可用度A(t);不可用度Q(t);稳态可用度A;不可
7、用度Q；以及MTBF,MTTFF(系统首次故障前的平均时间),MTTR(平均修复时间)等1.状态转移图。可修系统可靠性研究的关键是画出系统的状态转移图。如一台机器，运行到某一时刻t时，可能的状态为：——正常；——故障。如机器处于e1状态的概率P11=4/5,则e1向e2转移的概率P12=1－P11=1/5；反过程，如机器处于e2状态，经过一定时间的修复返回e1状态的概率是3/5，P21=3/5（维修度M(t)）;则修不好仍处于e2状态的概率是P22=1－P21=2/5.(不维修度)由此可写出系统的转移矩阵为:P=e1e2e1e2=转移矩阵Pij也表示时间ei发生的条件下，时间ej发生
8、的条件概率：；P是这样写的:列是起始状态，有小到大；行是到达状态，由小到大排列，建立P时应与转移图联系起来。又例，对于一可修系统，失效率和修复率为λ、μ为常数，试画出状态转移图：——正常；——故障。由此可写出：e1e2e1e2此时转移矩阵P也成为微系数矩阵。通常令Δt=1,则有，由此可知，状态转移图是求解(写出)转移矩阵的基础。1.n次(步)转移后,系统各状态的概率。设系统初始状态是的概率，由切普曼—柯尔莫哥洛夫方程，可表示为：，式中n=k+l,vÎE(状态空间)此式为由状态i经n步转移到状态j的概率；由状态i先经k步转移到状态v,然后由状态v经l步转移到状态j的概率（此处v也可理解
9、为从i到j的通道）。上式中，若令k=1,l=1,由可决定，即由全部一步转移概率可确定全部两步转移概率。若重复上述方法，就可由全部一步转移概率决定所有的转移概率。若用矩阵表示n步转移概率，即，则有：，转移矩阵（也称一步转移矩阵）注：可用上式方便的求出任意。一般地，可利用转移概率和系统的初始状态，求出任意转移后系统各状态的概率。公式如下：式中：P-----一部转移概率；Pn-----n步转移概率；n-----转移步数（次数）；P(0)------系统的初始状态向量，P(0)=[P1(0),P2(0)…],其中，P1(0)为初始t=0时刻系统处于1状态的概率，以下类推；P(n)-----n
10、步转移后系统所处状态向量，P(n)=[Pj(n)]=[P1(n),P2(n),…],其中，P1(n)为n步转移后刻系统处于1状态的概率，以下类推；例：如下图，已知P(0)=[P1(0),P2(0)]=[1,0],求n=1,2,…等各步(次)转移后系统各状态的概率。图中——正常；——故障。解：用上式:n=1,n=2,同理：n=3,n=5,由此可知，随着n的递增，P1(n)、P2(n)逐渐趋于稳定。稳定状态概率称为极限概率，本例n®¥时的极限概率为P1(¥)=
