信息论与编码 ch03信源熵

《信息论与编码 ch03信源熵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、上节课回顾上节课回顾°°信息量与不确定性的关系，数学表达？信息量与不确定性的关系，数学表达？°°互信息量的定义互信息量的定义??°°从信宿的角度看，互信息量的含义是什从信宿的角度看，互信息量的含义是什么？么？°°从简单通讯系统的角度看，互信息量的含从简单通讯系统的角度看，互信息量的含义是什么？义是什么？¾互信息的引出，使信息流通问题进入了定量分析的范畴，为信息流通的定量测量打下了坚实的基础，把信息理论发展到了一个更深的层次，可以认为是信息论发展的又一个里程碑。后验概率互信息量=log先验概率②互信息的性质¢对称性¢相互独立时的X和Y¢互信息量可为正值或负值¢不大于其中任一事件的自

2、信息量¢对称性I(x;y)=I(y;x)ijji¾推导过程pxy(/)pxypy(/)()ijijjIxy()；==loglogijpx()pxpy()()iijpxy()/()pxpyx(/)ijiji==loglog=Iyx(；)jipy()py()jj¾互信息量的对称性表明：ò两个随机事件的可能结果x和y之间的统计约束程度；ijò从y得到的关于x的信息量I(x;y)与从x得到的关于y的信jiijij息量I(y;x)是一样的，只是观察的角度不同而已。ji互信息量描述了两个随机事件xyi、j之间的统计约束程度，假如先验概率确定了，其后验概率就决定了信息的流通。¢相互独立时的X和

3、Y¾这时p(xy)=p(x)p(y)ijij¾互信息量为Ixy(;)log=11−=log0ij22pxpy()()pxy()ijij(1in=…,2,,jm=…1,2,,)¾表明x和y之间不存在统计约束关系，从y得不到关于的x任ijji何信息，反之亦然。¢互信息量可为正值或负值¾当后验概率大于先验概率时，互信息量为正。¾当后验概率小于先验概率时，互信息量为负。说明收信者未收到y以前，对消息x的是否出现的猜测难疑程度较ji小，但由于噪声的存在，接收到消息y后对x是否出现的猜测的难疑程ji度增加了，也就是收信者接收到消息y后对x出现的不确定性反而增ji加，所以获得的信息量为负值。¾

4、当后验概率与先验概率相等时，互信息量为零。这就是两个随机事件相互独立的情况。¢互信息量可为正值或负值¾值域为实数ß互信息量的值可为正数、负数或者0，取决于后验概率和先验概率的比值。¢考虑以下几种情况。（1）p(x/y)=1，I(x；y)=I(x)。ijijiß后验概率为1，说明收到y后即可以完全消除对信j源是否发x的不确定度。iß其物理含义是信宿获取了信源发出的全部信息量，这等效为信道没有干扰。¢互信息量可为正值或负值（2）p(x)I(x/y)，iijiijI(x；y)>0。ijß后验概率大于先验概率，说明收到yj后对信源是否发xi所进行判断的正

5、确程度，要大于x在信源集合中的概率.iß或者说收到yj后多少还能消除一些对信源是否发xi的不确定度，因此y获取了关于x的信息量。jißI(xi；yj)越大，这种获取就越多。ß这正是实际通信时遇到的大多数情况，它对应着信道存在干扰，但信宿仍能从信源中获取信息量。ß从这里隐约可以看到，只要I(xi；yj)>0，就存在着能够通信的可能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。¢互信息量可为正值或负值（3）p(x/y)=p(x)，即I(x)=I(x/y)，ijiiijI(x;y)=0ijß后验概率与先验概率相等，说明收到yj后对信源是否发xi所进行判断的正确程度，和x在信源集

6、合中的概率是一样i的；ß因此，它一点也不能消除对信源是否发xi的不确定度，也就是说从y中获取不到关于x的信息量；jiß事实上，假若xi和yj统计无关，即p(xi,yj)=p(xi)p(yj)，由贝叶斯公式容易推得I(x；y)=0；ijß这种情况实际上是事件xi和事件yj统计无关，或者说信道使得事件x和事件y变成了两码事，信宿得到的信息仅仅是由ij信道特性给出的，与信源实际发出什么符号无关，因此完全没有信息的流通。¢互信息量可为正值或负值（4）0

7、所进行判断的正确程度，比x在信源集合中的概率还要i小，这时判断信源没有发x似乎更合理些，但不能判断i信源到底发了什么（特别是对应于信源有多个符号时）。ß这种情况事实上给出了信息量，但流通的不是关于xi的信息量，而是x以外的事件的信息量。i综上所述，只有p(x/y)=p(x)，即I(x;y)=0时，ijiij才没有信息的流通。¢不大于其中任一事件的信息量¾由于p(x/y)≤1，有ijI(x；y)≤log[1/p(x)]=I(x)ijii同理，由p(y/x)≤1，有jiI(y；x)≤