信息论讲义_第二讲

《信息论讲义_第二讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息理论基础授课教师：于泽电子信息工程学院201教研室第二章信息的统计度量内容提要2.1自信息量和条件自信息量2.2互信息量和条件互信息量2.3离散集的平均自信息量2.4离散集的平均互信息量2.5连续随机变量的互信息和相对熵离散随机变量事件2.1自信息量和条件自信息量2.1.1自信息量简单事件联合事件2.1.2条件自信息量自信息的推导某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即：I(ai)＝f[p(ai)]根据客观事实和人们的习惯概念，函数f[p(ai)]应满足以下条件：（1）它应是先验概率p(ai)的单调递减函数，即当p(a

2、1)>p(a2)时，有f[p(a1)]

3、发生概率为p(xi)，则自信息量为一、简单事件释：(1)p(xi)≤1，表示事件xi出现的概率,取“-”号的主要目的是：使I(xi)≥02.1.1自信息量（续）(2)意义：具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；若是确定性事件，出现概率为1，则它包含的不确定度为0。2.1.1自信息量（续）(

4、3)单位：取决于对数的底比特（以2为底）I(xi)=-log2p(xi)奈特（以e为底）I(xi)=-loge(xi)哈特来（以10为底）I(xi)=-log10(xi)根据换底公式得：1nat=1.44bit,1hat=3.32bit；2.1.1自信息量（续）例：英文字母中“e”出现概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：根据自信息量的定义，解得“e”的自信息量：“c”的自信息量：“o”的自信息量：例：一个以等概率出现的二进制码元（0，1）所包含的自信息量为：I（0）=I（1）=

5、-log2（1/2）=log22=1bit例：若是一个m位的二进制数，因为该数的每一位可从0,1两个数字中任取一个，因此有2m个等概率的可能组合。所以I=-log2(1/2m)=mbit，就是需要m比特的信息来指明这样的二进制数。2.1.1自信息量（续）2.1.1自信息量（续）例：一副充分洗乱了的牌（含52张牌），求：(1)任一特定排列(2)若从中抽取13张牌，所给出的点数都不相同的信息量？。解：依题意1)52张牌共有52!种排列，假设每种排列方式等概出现,则所给出的信息量2)52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：2

6、.1.1自信息量（续）联合自信息量二维联合集XY上元素(xiyj)的自信息量定义为其中，xiyj是积事件；p(xiyj)是二维联合概率二、联合事件例：同时抛一对质地均匀的骰子，每个骰子各面朝上的概率均为1/6。试求：（1）“3和5同时发生”的自信息量（2）“两个1同时发生”的自信息量（3）“两个点数中至少有一个是1”的自信息量解：（1）甲3乙5，甲5乙3p(A)=1/36×2=1/18I(A)=-logp(A)=4.17bit（2）甲1乙1p(B)=1/36I(B)=-logp(B)=5.17bit（3）扣掉甲、乙都不是1的概率p(C)=1-6/

7、5×5/6=11/36I(C)=-logp(C)=1.71bit2.1.1自信息量（续）2.1.2条件自信息量条件自信息量若事件xi在事件yj给定条件下的概率为p(xi

8、yj)，则其条件自信息量定义为因为p(xi

9、yj)≤1，所以条件自信息量非负，即：I(xi

10、yj)≥0。释：①I(xi)是事件xi本身所具有的不确定性；②I(xi

11、yj)是事件yj发生后，事件xi尚存在的不确定性；③条件自信息量单位同自信息量。2.1.2条件自信息量（续）概率知识复习1.乘法公式2.全概率公式3.条件概率公式4.贝叶斯公式2.1.2条件自信息量（续）例：有一正方形

12、棋盘，分64个格，如果甲将一棋子放在某格内，让乙猜测。1.将方格按顺序编号（1,2,…,64），让乙猜测棋子所在格的序号。2.将方格按行