信息论基础课件.ppt

《信息论基础课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、上节内容回顾1、离散无记忆信源X的N次扩展信源的熵．2　离散平稳信源的数学模型3离散平稳信源的信源熵和极限熵12.2.4、马尔可夫信源的极限熵在许多信源的输出序列中，符号之间的依赖关系是有限的。也就是说任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关。与前面所讲的多符号平稳信源不同，这种信源发出符号时不仅与符号集有关，还与信源的状态有关。所谓状态，指与当前输出符号有关的前m个随机变量序列的某一具体消息，用si或者ei表示。把这个具体消息看作某个状态：2当信源在m+1时刻发出符号akm+1时，我们可

2、把sj看成另一种状态：所有的状态构成状态空间，其数学模型为31.马尔可夫信源设一般信源所处的状态，在每一状态下可能输出的符号。4（2）信源某时刻所处的状态由当前的输出符号和前一时刻信源的状态唯一决定，即则此信源称为马尔可夫信源。当具有齐次性时，有定义：若信源输出的符号序列和信源所处的状态满足以下两个条件（1）某一时刻信源符号的输出只与此时刻信源所处的状态有关，而与以前的状态及以前的输出符号都无关，即5例2.2.3设信源符号X={x1，x2，x3}，信源所处的状态S={e1，e2，e3，e4，e5}。各状态之间的转移情况如下图，将图中

3、信源在ei状态下发符号xk的条件概率p（xk/ei）用矩阵表示为，6由矩阵可以看出来，7另外，从图中可得，…状态的一步转移概率为，很显然，该信源为时齐的马尔可夫信源。8上述定义和描述的是一阶的马尔可夫信源。但常见的是m阶马尔可夫信源，它在任何时刻，符号发生的概率只与前面m个符号有关，我们可以把这前面m个符号序列看作信源在此时刻所处的状态。因为信源符号集共有q个符号，则信源可以有个不同的状态，他们对应于个长度为m的不同的符号序列。因此，m阶马尔可夫离散信源的数学模型可由一组信源符号集和一组条件概率确定：并满足9由m阶马尔可夫信源的定义

4、，并考虑其平稳性，可得10状态极限概率一步状态转移概率条件概率表示任何l时刻信源处在ei状态时，发出符号的概率。而可任取之一，所以可以简化成表示。11而在时刻，信源发出符号后，由符号组成了新的信源状态，即信源所处的状态也由转移到，它们之间的转移概率叫做一步转移概率，简记为，它可由条件概率来确定，表示在的情况下，经一步转移到状态的概率。对于齐次马尔可夫链，其转移概率具有推移不变性，因此，可简写为。12记k步转移概率为由于有个状态，所以状态转移概率是一个矩阵，记为：推广可得，它表示系统在时刻m处于状态，经(n-m)步转移后在时刻n处于状

5、态的概率。它具有以下性质：133.各态历经（遍历）定理14（1）各态历经的马氏链不论起始状态是什么，此马氏链可以最后达到稳定，注：（2）各态历经的马氏链具有不可约性所谓不可约性，就是对任意一对i和j，都存在至少一个k，使pij^(k)>0这就是说从i开始，总有可能到达j；反之若对所有k，pij^(k)=0就意味着一旦出现i以后不可能到达j，也就是不能各态遍历，或者状态中应把i取消，这样就成为可约的了15例2.2.4：2-M信源S1S101001011(1)0.2(0)1/2(1)0.5(0)1/5(0)0.5(1)0.5(0)0.8

6、(1)0.81601001011(1)0.2(0)1/2(1)0.5(0)1/5(0)0.5(1)0.5(0)0.8(1)0.817181920例21abc一步转移矩阵为22从状态转移图可知，这时齐马尔可夫链的状态有限，并且是不可约闭集和非周期态，所以这马尔可夫链具有各态历经性，则状态的极限分布存在。23得此一阶马尔可夫信源的熵为注意：马氏信源的状态极限分布并不等于信源起始时的一维概率分布。在起始的有限时间内，信源不是平稳和遍历的，只有经过足够长时间之后，才能达到稳定分布。24