第二章 信息的度量.ppt

《第二章 信息的度量.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章信息的度量2.1自信息和互信息2.2平均自信息2.3平均互信息2.1自信息和互信息2.1.1自信息定义一个事件（消息）本身所包含的信息，它是由事件的不确定性决定的。自信息量一个事件（消息）本身所包含的信息量，记为。自信息量为概率的函数。2.1.1自信息根据客观事实和人们的习惯概念，自信息量应满足以下条件（公理化条件）：1.是的严格递减函数。当时，，概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。2．极限情况下当=0时，；当=1时，=0。3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的

2、信息量之和。可以证明，满足以上公理化条件的函数形式是对数形式。定义：随机事件的自信息量定义为该事件发生概率的对数的负值。设事件的概率为，则它的自信息定义为由图可见：上述信息量的定义正是满足上述公理性条件的函数形式。含义：1）当事件发生以前，等于事件发生的不确定性的大小；2）当事件发生以后，表示事件所含有或所能提供的信息量。2.1.1自信息自信息量的单位：与所用对数的底a有关。单位换算关系：1奈特=比特=1.443比特1哈特莱=比特=3.322比特1r进制单位=比特2.1.1自信息a=2I=-log2P单位为比特（bit）I=-logPa=eI=-

3、lnP单位为奈特（nat）a=10I=-lgP单位为哈特莱（hartley）a=rI=-logrP单位为r进制信息单位[例1]（1）英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。（2）假定前后两字母出现是互相独立的，求“ac”的自信息量。（3）假定前后字母出现不是独立的，当“a”出现后，“c“出现的概率为0.04，计算”a“出现后，”c”出现的自信息量。（4）比较（3）中计算出的信息量，并与“c“的信息量进行比较和分析。2.1.1自信息解：字母出现相互独立，[例1]（1）英文字母中“a”出现的概率为

4、0.064，“c”出现的概率为0.022，分别计算他们的自信息量。（2）假定前后两字母出现是互相独立的，求“ac”的自信息量。相互独立事件积事件的信息量为各事件信息量的和。2.1.1自信息解：（3）假定前后字母出现不是独立的，当“a”出现后，“c“出现的概率为0.04，计算“a”出现后，“c”出现的自信息量。（4）比较（3）中计算出的信息量，并与“c“的信息量进行比较和分析。可见，“a”出现后，“c”出现的概率增大，其不确定性则变小。（前后字母出现不是独立的，“a”出现给出了“c”的部分信息，故“a”出现后，“c”的不确定性则变小。）2.1.1自

5、信息解：解：结论：设有两事件a和b：(1)若相互独立，则I(ab)=I(a)+I(b);(2)若不为相互独立，则I(ab)

6、获得关于某事件发生的信息量)＝不确定性减少的量＝(收到此消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)已知8个灯泡等概率损坏，所以先验概率P(x1)＝1/8，即第二次测量获得的信息量=I[P(x2)]-I[P(x3)]=1(bit)第三次测量获得的信息量=I[P(x3)]=1(bit)故：至少要获得3个比特的信息量就可确切知道哪个灯泡已坏了。第一次测量获得的信息量=I[P(x1)]-I[P(x2)]=1(bit)经过二次测量后，剩2个灯泡，等概率损坏，P(x3)＝1/2一次测量后，剩4个灯泡，等概率损坏，P(x2)＝1

7、/42.1.1自信息联合自信息量:二维联合集XY上元素(xiyj)的自信息量定义为其中，xiyj是积事件；p(xiyj)是二维联合概率。条件自信息量:若事件xi在事件yj给定条件下的概率为p(xi

8、yj)，则其条件自信息量定义为对于联合事件（多维随机变量）：定义：一个事件所给出关于另一个事件的信息定义为互信息，用表示。含义：互信息是已知事件后所消除的关于事件的不确定性，它等于事件本身的不确定性减去已知事件后对仍然存在的不确定性。2.1.2互信息理解：因此，已知事件后所消除的关于事件的不确定性为：即：2.1.2互信息信道信宿信源干扰或噪声消息特例（

9、无干扰信道）：因此，已知事件后所消除的关于事件的不确定性为：即：2.1.2互信息信道信宿信源消息=1=02.1.2互信息[例3]某地二月