3、状态空间，总有11n-P(Xn£xn
4、,X(t1)==x1LX(txnn--11))=P(X£x
5、,X(t)=Îx)xRnnn--11nn则称{X(t),tTÎ}为马尔可夫过程。在这个定义中，如果把时刻t看作“现在”，时刻t是“将来”，时刻tt,,L是“过去”。马尔可夫n-1n12n-过程要求：已知现在的状态X(tx)=，过程将来的状态Xt()与过程过去的状态nn--11nX(t1)==x1,,LX(txnn--22)无关。这就体现了马尔可夫过程具有无后效性。通常也把无后效性称为马尔可夫性。从概率论的观点看，马尔可夫过程要求，给定X(t)==x,,L
6、X(tx)时，Xt()的条件分布仅11nn--11n与X(tx)=有关，而与X(t),,LXt()无关。nn--1112n-二、马尔可夫链及其转移概率2马尔可夫链是参数离散、状态离散的最简单的马尔可夫过程。在马尔可夫链{X(t),tTÎ}中，一般取参数空间T={0,1,2,L}。马尔可夫链的状态空间E的一般形式是E={0,1,2,L}。1、马尔柯夫链定义：一个随机序列{X(t),t=1,2,3,…}取值于正整数空间E={0,1,2,……},或者为E的子集，如果有：P(X(t)=x
7、,X(t)==xLX(tx))nn11nn--11=P(X(t)==x
8、
9、X(tx))nnnn--11xi∈E={0,1,2,……};i=1,2,…则称为序列{X(t),tTÎ}为马尔柯夫(Markov)链。这种序列具有马尔可夫性，也叫无后致性。注意：t和i均取整数。2、马尔柯夫链的含义：可以这样理解：序列{Xt()}的“将来”只与“现在”有关而与“过去”无关。3、马尔柯夫链的状态：马尔柯夫链序列{Xt()}中的某一个符号X(ti)的数值一定为E中的某一个元素x（i或xj），这时，称xI(或xj)为随机序列的一个状态Si。4、马尔柯夫链的一步转移概率马尔柯夫(Markov)链的统计特性用条件概率（状态转移概率）来描述：习
10、惯上把转移概率记做(1)P(X(t+1)=xn
11、X(t)=xn-1)=P(X(t+1
12、)=jX(t)=i)==pij(t)ptij()这称为马氏链的一步转移概率。为马尔柯夫链从状态i变为状态j的条件概率。它满足：(概率的加法公式)(1)pij(t)≥0ij∈Eåpij(t)1=ÎiEjEÎ5、马尔柯夫链的K步转移概率：其k步转移概率为：为马尔柯夫链从状态i经过k步（k个单位时间）后变为状态j的条件概率：()kP(X(t+k)=j
13、X(t)==i)ptij()它满足：(k)pij(t)≥0ij∈E()kåpij(t)1=ÎiEjEÎ6、平稳马尔柯夫链的
14、性质：如果马尔柯夫链是平稳的，即与时刻无关，与t无关，我们讨论的马尔柯夫链只是这种最简单的情况。这种平稳马氏链称为齐次马氏链。由于这种齐次马尔柯夫链的转移概率与时间无关，因此去掉其时间变量t，(1)(k)(n)其中的一步转移概率为pp=，k步转移概率为p，n步转移概率为p。ijijijij定义2：向量u=(u,,uuL)称为概率向量，如果u满足：12,n3nuji³0,j==1,2,L,1nuåi=1定义3：若方阵P的每行都为概率向量，则称此方阵为概率矩阵。kk可以证明，如果矩阵A和B皆为概率矩阵，则AB,,AB也都是概率矩阵(k为正整数)由所有一步
15、转移概率组成的矩阵称为一步转移概率矩阵表示为：æöp11pp121Lnç÷pppLP=ç÷21222nç÷M
