信息论与编码-第4讲-第2章信源及信息度量(修改最新)

《信息论与编码-第4讲-第2章信源及信息度量(修改最新)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码理论基础第4讲信息熵及熵的基本性质主讲刘巧平延安大学物电学院本讲主要内容：1、信源熵2、条件熵3、联合熵4、熵的基本性质和定理本讲重点：1、掌握信息熵的物理含义及数学表达式2、熟悉条件熵和联合熵的定义3、掌握信息熵的基本性质及定理本讲难点：信息熵的定义及熵的基本性质及定理1信源熵1）信源熵—平均信息量2）信源熵的三种物理含义1）信源熵—平均信息量自信息是一个随机变量：自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/信源熵/香农熵/无条件熵/熵函数/熵。信息

2、熵的数学表达式：为了求得整个信源所提供的平均信息量，首先，我们应当了解数学中有关三种不同类型的平均方法以及它们各自的计算公式。这三种平均方法分别是算术平均、统计平均和几何平均。(2-8)式中，Pi=Ni/N(i=1，2，…，r)为对应的随机变量xi出现的概率(或称为频数)。即(2-9)(2-10)根据有关统计平均的定义，可求得信源X自信息量的统计平均值，我们把这个统计平均值记为H(X),即(2-9)(2-10)信息熵的数学表达式信息熵的单位：取决于对数选取的底。一般选用以2为底，其单位为比特/符号。信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均

3、意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。2）信源熵的三种物理含义信源熵是从平均意义上来表征信源的总体特性的一个量。因此信源熵有以下三种物理含义。1)信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量；2)信源熵H(X)是表示信源输出前，信源的平均不确定性；3)用信源熵H(X)来表征变量X的随机性。举例1有一布袋内放100个球，其中80个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，其概率空间为x1：表示摸出的是红球x2：表示摸出的是白球举例2有两个信源，其概率空间分别为信息熵分

4、别为H(X)=-0.99log0.99-0.01log0.01=0.08比特/符号H(Y)=-0.5log0.5-0.5log0.5=1比特/符号可见H(Y)>H(X)本例结论1、信源Y的二个输出消息是等可能性的，所以在信源没有输出消息以前，事先猜测哪一个消息出现的不确定性要大；2、信源Y比信源X的平均不确定性大；3、信源X的二个输出消息不是等概率的，事先猜测x1和x2哪一个出现，虽然具有不确定性，但大致可以猜出x1会出现，因为x1出现的概率大。所以信源X的不确定性要小；4、信息熵反映的就是信源输出前平均不确定程度的大小。2条件熵定义：条件熵是在联合符号集合XY上的条

5、件自信息的数学期望。在已知Y时，X的条件熵为已知X时，Y的条件熵为为什么要用联合概率？证明：在给定yj条件下，xi的条件自信息量为：I(xi

6、yj)=－logp(xi

7、yj)集合X的条件熵为：在给定Y（即各个yj）条件下，集合X的条件熵定义为信道疑义度—H(X/Y)：表示信宿在收到Y后，信源X仍然存在的不确定度。是通过有噪信道传输后引起的信息量的损失，是传输失真造成的，故也可称为损失熵。噪声熵—H(Y/X)：表示在已知X的条件下，对于符号集Y尚存在的不确定性（疑义），这完全是由于信道中噪声引起的。例：已知信源X取自符号集{a1=0，a2=1}，信源Y取自符号集{b1=

8、0，b2=1}，联合集合{X，Y}的联合概率密度为计算条件熵H(X

9、Y)。解由全概率公式可得p(b1)=p(a1，b1)+p(a2，b1)=0.5p(b2)=p(a1，b2)+p(a2，b2)=0.5由概率公式p(ai，bj)=p(ai)p(bj

10、ai)=p(bj)p(ai

11、bj)(i，j=1，2)，可以求出p(a1

12、b2)=0.75p(a2

13、b1)=0.75p(a2

14、b2)=0.25根据条件熵的计算表达式可得H(X

15、Y)=－p(a1,b1)logp(a1

16、b1)－p(a1,b2)logp(a1

17、b2)－p(a2,b1)logp(a2

18、b1)－p(a2，b2)

19、logp(a2

20、b2)=0.406比特/符号3、联合熵定义—是联合离散符号集合XY上的每个元素对的联合自信息量的数学期望，也叫共熵。用H(XY)表示。4熵的基本性质和定理熵函数H(X)：熵H是p(x1),p(x2),…,p(xn)的n元函数(1)非负性(2)对称性(3)最大离散熵定理(4)扩展性(5)确定性(6)可加性(7)极值性(8)上凸性(1)非负性H(X)≥0因为随机变量X的所有取值的概率分布满足0≤p(xi)≤1；当取对数的底大于1时logp(xi)≤0，而-p(xi)logp(xi)≥0，所以熵H(X)≥0；只有当随机变量是一确知量时，熵