信息论基础——熵

《信息论基础——熵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、熵、联合熵、条件熵目标理解各种熵的概念;掌握离散信源各种熵的基本性质有两个含义：1、当事件发生前，表示该事件发生的不确定性；2、当事件发生后，标是该事件所提供的信息量．自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位回顾（1）回顾（1）例1：设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用来表示晴天，以来表示雨天，则我们的信源模型如下：对一个信源发出不同的消息所含有的信息量也不同。自信息是一个随机变量，不能用它来作为整个信源的信息测度信息熵具有以下两种物理含义：1、表示信源输出前信源的平均不确

2、定性2、表示信源输出后，每个符号所携带的平均信息量熵的单位取决于对数所取的底，若以2为底，单位为比特/符号回顾（2）熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。说明自信息量I(x1)和I(x2)只是表征信源中各个符号的不确定度，一个信源总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信息量就不同。所以自信息量不能作为信源总体的信息量。平均不确定度H(X)的定义公式与热力学中熵的表示形式相同，所以又把H(X)称为信源X的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源的平均不确定度。说明信息量则只有当信源输出符号而被接收者收到后

3、，才有意义，这就是给予接收者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是一个确定值，一般写成H(X),X是指随机变量的整体（包括概率分布）。说明作业相关人口问题：在某个地区，一对夫妻只允许生一个孩子，可是这里所有的夫妻都希望能生个男孩传宗接代，因此这里的夫妻都会一直生到生了一个男孩为止，假定生男生女的概率相同．问：(1)这个地区男孩会多于女孩吗？(2)一个家庭孩子的个数用离散随机变量X表示，计算X的熵解：①假定一个家庭里有k个女孩，1个男孩，相应的概率是0.5k*

4、0.5，因此女孩的平均数是，女孩的平均数与男孩的平均数相等。②习题相关设离散无记忆信源其发生的消息为（202120130213001203210110321010021032011223210）(1)此消息的自信息是多少?(2)在此消息中平均每个符号携带的信息量是多少?解：(1)因为离散信源是无记忆的，所以其发出的消息序列中各符号是统计独立的。因此，此消息的自信息就等于消息中各个符号的自信息之和!根据题意，可得此消息中共有14个“0”符号，13个“1”符号，12个“2”符号，6个“3”符号，则得到消息的自信息是习题相关(2)此消息中共含45个信源符号，这45个信源符号携带着87．81比特信息

5、量，则此消息中平均每个符号携带的信息量为（202120130213001203210110321010021032011223210）注意：此值是此消息中平均每个符号携带的信息量该离散无记忆信源平均每个符号携带的信息量，即信息墒习题相关新授课联合熵与条件熵熵、联合熵与条件熵信息熵的基本性质新授课联合熵与条件熵熵、联合熵与条件熵信息熵的基本性质信源发出序列中只有前后两个符号间有依赖关系：信源的概率空间:连续两个信源符号出现的联合概率分布为：联合熵与条件熵已知符号出现后，紧跟着出现的条件概率为：由二维离散信源的发出符号序列的特点可以把其分成每两个符号一组，每组代表新信源中的一个符号。并假设组与组

6、之间是统计独立的，互不相关的。得到一个新的离散无记忆信源，其联合概率空间为：联合熵与条件熵根据（信息）熵的定义，可得：（1）联合熵可以表征信源输出长度为2的平均不确定性，或所含有的信息量。说明:联合熵是随机序列联合离散符号集上的每个符号对联合自信息量的数学期望联合熵与条件熵(2)条件熵则：联合熵与条件熵随机序列的联合符号集上的条件自信息量的数学期望例题已知二维随机变量的联合概率分布为求解：由又由所以新授课联合熵与条件熵熵、联合熵与条件熵信息熵的基本性质H（X，Y）＝H（X）＋H（Y／X）H（X，Y）＝H（Y）＋H（X／Y）证明:熵、联合熵与条件熵所以□熵、联合熵与条件熵证明:由熵、联合熵与条

7、件熵H（XY）＝H（Y）＋H（X／Y）所以熵、联合熵与条件熵[例]某一二维离散信源其发出的符号只与前一个符号有关，即可用联合概率P(xi,xj)给出它们的关联程度，如下表所示求信源的熵H(X)、条件熵H(X2

8、X1)和联合熵H(X1,X2)。P(xi,xj)xjxi01201/41/18011/181/31/18201/187/36解：根据概率关系可计算得条件概率P（xj

9、xi）,计算结果列表如下：xjxi0