资源描述：
《信息论各种熵之间的关系.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、2.1.5各种熵之间的关系XYXYXYXYXY2.2.1无记忆扩展信源的熵2.2.2离散平稳信源的熵2.2.3马尔可夫信源2.2.4信源的冗余度2.2扩展信源无记忆的离散信源序列离散有记忆序列信源离散平稳信源马尔可夫信源无记忆扩展信源每次发出一组含两个以上符号的符号序列代表一个消息，而且所发出的各个符号是相互独立的，各个符号的出现概率是它自身先验概率。序列中符号组的长度即为扩展次数。离散平稳信源随机矢量中的各随机变量的统计特性都不随时间推移而变化。1、离散无记忆二进制信源X的二次扩展信源每两个二进制数字构成一组，则新的等效信源X的输出符号为00，01，10，11。若单符号离散信
2、源的数学模型为二次扩展信源的数学模型为其中，X2表示二次扩展信源。这里，a1=00,a2=01,a3=10,a4=11。且有2.2.1无记忆扩展信源的熵2、离散无记忆信源X的N次扩展信源（1）数学模型设单符号离散信源的数学模型为满足则其N次扩展信源用XN来表示，其数学模型为满足每个符号ai对应于某个有N个xi组成的序列。在N次扩展信源XN中，符号序列构成的矢量其各分量之间是彼此统计独立的，即（2）熵N次扩展信源的熵按信息熵的定义为其单位为比特/符号序列。H(XN)=H(X1X2…XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN-1)由于无
3、记忆扩展信源的各Xi之间是彼此独立的，且各个H(Xi)=H(X),所以H(XN)=H(X1X2…XN)=H(X1)+H(X2)+H(X3)+…+H(XN)=NH(X)单符号信源如下,求二次扩展信源熵扩展信源：例离散平稳信源各维联合概率均与时间起点无关的完全平稳信源。对于随机变量序列X=X1X2…XN,若任意两个不同时刻i和j(大于2的任意整数)，信源发出消息的概率分布完全相同，即一维平稳信源P(Xi=x1)=P(Xj=x1)=p(x1)P(Xi=x2)=P(Xj=x2)=p(x2)…P(Xi=xn)=P(Xj=xn)=p(xn)2.2.2离散平稳信源的熵1.定义二维平稳信源P(
4、Xi=x)=P(Xj=x)=p(x)P(Xi=x1,Xi+1=x2)=P(Xj=x1,Xj+1=x2)=p(x1x2)其中x1,x2∈X=(x1,x2,…xn)离散平稳信源P(Xi)=P(Xj)P(XiXi+1)=P(XjXj+1)…P(XiXi+1Xi+2…Xi+N)=P(XjXj+1Xj+2…Xj+N)反映信源记忆特性的两方法：用联合概率反映信源记忆特性用条件概率反映信源记忆特性122.二维信源每组中的后一个符号与前一个符号有统计关联关系，而这种概率性的关联与时间的起点无关。假定符号序列的组与组之间是统计独立的。一般地例原始信源：条件概率：X1X2H(X1X2)=H(X1)
5、+H(X2/X1)=1.542+0.870=2.412(比特/符号)3.N维离散平稳有记忆信源(1)熵平均符号熵：极限熵：(2)极限熵（3）性质条件熵H(XN
6、X1X2…XN-1)随着N的增加而递减证明：H(XN
7、X1X2…XN-1)≤H(XN
8、X2…XN-1)（条件熵小于等于无条件熵）=H(XN-1
9、X1X2…XN-2)（序列的平稳性）若N一定，则平均符号熵大于等于条件熵HN(X)≥H(XN
10、X1X2…XN-1)证明：NHN(X)=H(X1X2…XN)=H(X1)+H(X2
11、X1)+…+H(XN
12、X1X2…XN-1).=H(XN)+H(XN
13、XN-1)+…+H(XN
14、X1X2
15、…XN-1)（序列平稳性）≥NH(XN
16、X1X2…XN-1)（条件熵小于等于无条件熵）所以HN(X)≥H(XN
17、X1X2…XN-1)平均符号熵也随N的增加而递减证明：NHN(X)=H(X1X2…XN)=H(XN
18、X1X2…XN-1)+H(X1X2…XN-1)=H(XN
19、X1X2…XN-1)+(N-1)HN-1(X)≤HN(X)+(N-1)HN-1(X)所以HN(X)≤HN-1(X)，即序列的统计约束关系增加时，由于符号间的相关性，平均每个符号所携带的信息量减少。如果H(X)<∞，则存在，并且作业：2.172.182.17某一无记忆信源的符号集为{0,1}，已知P(0)=1/4，
20、P(1)=3/4。(1)求符号的平均熵；(2)有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式；(3)计算(2)中序列的熵。2.18设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。(1)试问这个信源是否是平稳的？(2)试计算H(X2),H(X3/X1X2)及H∞；(3)试计算H(X4)并写出X4信源中可能有的所有符号。此课件下载可自行编辑修改，此课件供参考
