离散信源与信息熵(上)

《离散信源与信息熵(上)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、北京交通大学信息科学研究所《信息论基础》《ElementsofInformationTheory》北京交大计算机与信息技术学院信息科学研究所现代信号处理与通信研究室教学九楼六层北606主讲：丁晓明TEL:51688636;ftp://202.112.147.192/sopc;ssopcEmail—xmding@bjtu.edu.cn第二章：信息的度量与信息熵(ThemeasureofInformation&Entropy)§2.1自信息与条件自信息(self—information&conditionalself—information)§2.2自互信息与条件

2、自互信息(self—mutualinformation&conditionalself—mutualinformation)«信息论基础»第二章.信息的度量与信息熵§2.1自信息与条件自信息(self—information&conditionalself—information)§2.1.1自信息(自信息量)若一随机事件的概率为,它的自信息的数学定义为：def首先解释一下自信息与自信息量的区别：信息是概念上的涵义，而信息量则是有单位，有数值大小的量。自信息则是一个具体事件的不确定度，而自信息量应是不确定度的解除量，二者仅在该事件完全确知后信息量才等于自信息。

3、换句话说：自信息反映的是随机事件的不确定度完全被解除后的信息量。自信息为什么一定是这样的定义？是否一定是对数形式？1.应该是概率的单调递减函数，即当时则；><2.当时，则＝0；＝;当时，则3.§2.1自信息与条件自信息因为信息是与随机事件的不定度密切相关，所以它的度量应是事件概率的函数。设：这里表示任意的数学函数，但它要符合人们的习惯和客观规律，那么它就必须应该满足以下几个基本条件，（一般我们称为公理化条件；所谓公理，即无法用前面的定理所推论的定理。）(axiomaticconditions)4.两个独立的随机事件和，它们联合事件的自信息，应是它们各自信息的

4、和，即：要保证的函数形式对上述四个公理化条件均满足，则此函数一定是对数形式；这就是定义的唯一性定理(uniqueness)。§2.1自信息与条件自信息def因此：当，则例2—1一副充分洗乱了的扑克牌(所给的牌是52张)，试问：任意一副特定排列所给出的自信息是多少？若从中抽取十三张牌，当给出的点数均不相同时可得到多少信息量？题解：任意一特定排列，即意味着第一张牌的取法有52种；第二张牌的取法有51种；……。一共有52!种排列，所以每一种排列的概率为：§2.1自信息与条件自信息若从m个元素中抽取n个元素的取法就是组合：1.又因为要保证所抽取的牌中点数均不相同，则可

5、设想以下排列，每一点数有四种花色；根据点数的位置构成13张的排列数：1，2，3，4，……,134•4•4•4……•4=§2.1自信息与条件自信息就是从52张牌中抽取13张牌的取法则：所以13张点数不同牌的抽取概率为：def§2.1自信息与条件自信息§2.1.2条件自信息(conditionalself-information)定义：为条件自信息，同样有：def定义所表达的是一个联合事件xy，在某一个变量x(或y)被确知之后，另一个变量y(或x)还剩下的不确定度；或者说另一个变量y(或x)将还能带给接收者多么大的信息量。例2－2棋盘与棋子题解：前提，当棋子落入棋

6、盘的位置是任意的；若将棋盘的行数编号为，棋盘的列数编号为；则棋子落入任何一格的概率均相等，为：设在一正方形棋盘上共有64个棋格,如甲随意将棋子放入一格中让乙猜棋子落入位置，（1）若将棋格按顺序编号，令乙猜测棋子所在棋格的顺序号？（2）若棋格按行与列编号，当甲将棋子所在的行号（列号）告诉乙后，在令乙猜棋子的位置？§2.1自信息与条件自信息ABCDEFGH12345678如果编码为：且，棋盘格的编码为：同理，；则每一例2—3.某地女孩中有25%是大学生,她们其中75%是身高1.6m以上；而女孩中身高1.6m以上者超过一半。题解：设‘女孩中有大学生’的概率为，或者说

7、‘女孩是大学生’是一随机事件；另设‘女孩中身高超过1.6m以上者’为另一随机事件，其概率为：，又因‘女孩大学生中超过1.6m者’的概率为：所问：‘当某女孩是身高1.6m以上，且她是大学生’,则我们将得到多少信息量？即：为什么不是求：§2.1自信息与条件自信息从以上例题可以看出联合事件的自信息与单一事件和条件自信息的关系，即联合事件的自信息可以看成是某一事件的自信息加上此事件发生后另一事件所剩的条件自信息。为什么联合事件的自信息一定大于条件自信息呢？这实际上是自信息与条件自信息之间的概念差别，我们从系统模型分析出发加深理解。§2.1自信息与条件自信息显然：在信源

8、发出消息事件之后，将通过信道传输由信宿