资源描述：
《极限熵及马科夫信源》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、2.5离散平稳信源2.5.1离散平稳信源的数学定义2.5.2二维平稳信源及其信息熵2.5.3离散平稳信源的极限熵2.5.1离散平稳信源的数学定义实际情况下，离散信源的输出是空间或时间的离散符号序列，而且在序列中符号之间有依赖关系.此时可用随机矢量来描述信源发出的消息，即其中任一变量Xi表示t=i时刻所发出的信号。信源在此时刻将要发出什么信号取决于以下两点：(1)与信源在t=i时刻随机变量Xi的取值的概率分布P(Xi)有关。(2)与t=i时刻以前信源发出的符号有关，即与条件概率P(xi
2、xi-1xi-2…)有关,一般情况下，它也是时间t=i的函数，如果信源分布与与
3、时间无关，即时间的推移不引起信源统计特性的变化，设i、j为两任意时刻，若有离散平稳信源的数学定义(1)具有这样性质的信源称为一维平稳信源掷骰子——掷5次后，再掷第6次时，掷出的点数的概率分布与前5次的概率分布相同---------------〉平稳信源离散平稳信源的数学定义(2)如果一维平稳信源的联合概率分布P(xixi+1)也与时间起点无关，即（i、j为任意整数且i≠j）则信源称为二维平稳信源。上述等式表示任何时刻信源连续发出二个符号的联合概率分布也完全相等。以此类推，如果各维联合概率分布均与时间起点无关，既当t=i,t=j（i、j为任意整数且i≠j）时有：离
4、散平稳信源的数学定义(3)2.5-1那么，信源是完全平稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源称为离散平稳信源。因为联合概率与条件概率有以下关系：离散平稳信源的数学定义(4)根据2.5-1式可得注意：平稳信源的条件概率与时间起点无关，只与关联长度N有关。如果某时刻发出什么信号与前发出的N个符号有关，那么任何时刻他们的依赖关系是一样的。2.5.2二维平稳信源及其信息熵二维平稳信源满足以下条件：设有离散一维信源的概率空间为：二维平稳信源的信息熵(1)由此一维信源组成的二维信源的概率空间为：同时还已知连续两个信源符号出现的联合概率分布P(aiaj)(i
5、,j=1,2,…,q),并有：根据信息熵的定义可求得此信源的信息熵为：二维平稳信源的信息熵(2)我们把H(X1X2)称为X1X2的联合熵。此值表示原来信源X输出任意一对消息的共熵，即描述信源X输出长度为2的序列的平均不确定性，或者是信息量。因为信源X发出的符号序列中前后两个符号之间有依赖性，所以首先可以求得已知前面一个符号X1=ai信源输出下一个符号的平均不确定性。以下表所示的信源为例XiXi+1a1a2a3a4a1P(a1/a1)P(a2/a1)P(a3/a1)P(a4/a1)a2P(a1/a2)P(a2/a2)P(a3/a2)P(a4/a2)a3P(a1/a
6、3)P(a2/a3)P(a3/a3)P(a4/a3)a4P(a1/a4)P(a2/a4)P(a3/a4)P(a4/a4)二维平稳信源的信息熵(3)所以，已知前面一个符号X1=ai信源输出下一个符号的平均不确定性，即信息熵为:上式是对下一个符号aj的可能取值进行统计平均。而前一个符号X1取值范围是｛a1,a2,a3,a4｝中的任一个。对于某一个ai存在一个平均不确定性H(X2
7、X1=ai)。对所有ai的可能值进行统计平均就得当前面一个符号已知时，再输出后面一个符号的总的平均不确定性二维平稳信源的信息熵(4)此值为二维平稳信源的条件熵根据概率关系展开式，我们可以得到
8、联合熵与条件熵的关系式二维平稳信源的信息熵(5)根据概率关系展开式，我们可以得到联合熵与条件熵的关系式而上式中的第一项可变换为：二维平稳信源的信息熵(6)从上面的推导得：H(X1X2)=H(X1)+H(X2
9、X1)物理意义：联合熵等于前一个符号出现的熵加上前一个符号已知时后一个符号出现的条件熵。这就是熵的强可加性。同理可以证明：H(X1X2)=H(X2)+H(X1
10、X2)二维平稳信源的信息熵(7)条件熵与无条件熵的大小关系H(X2
11、X1)≤H(X2)[证明]在区域[0，1]中，设函数f(x)=-xlogx,它在正区域内是∩型函数，设P(aj
12、ai)=pij,P(
13、ai)=pi,根据詹森不等式得因其中所以有二维平稳信源的信息熵(8)只有当P(aj
14、ai)=P(aj)时,等式成立。不难看出H(X1X2)=H(X1)+H(X2
15、X1)≤H(X1)+H(X2)所以H(X1X2)≤2H(X)物理意义解释：因为当二个符号间有依赖关系时，就意味着在前一个符号发生的条件下，其后面跟着什么符号不是不确定的，而是有的符号发生的可能性大，有的发生的可能性小，从而平均不确定性减少。[例2.6]某离散二维平稳信源并设发出的符号只与前一个符号有关，即可用联合概率P(aiaj)给出它们的关联程度。如下表所示：例题讲解(1)表2.2P(aiaj)aja
16、i01201／41／18
