信息论与编码 第二版 第2章 ppt

《信息论与编码 第二版 第2章 ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2.2离散信源熵和互信息2.2.1自信息量2.2.2离散信源熵要求：1.掌握自信息量、联合自信息量和条件自信息量的含义和计算方法；2.掌握单符号熵、条件熵与联合熵的含义和计算方法。信源发出某一符号后，它提供多少信息量？这就是要解决信息的度量问题。在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。2.2.1自信息量1.定义：任意随机事件的自信息量定义为该事件发生概率的对数的负值。如：定义为具有概率为p(xi)的符号xi的自信息量为I(xi)=-logp(xi)说明：自信息量的单位与所用

2、的对数的底数有关。对数底数为2，信息量单位为比特（bit）；对数底数为e，信息量单位为奈特（nat）；对数底数为10，信息量单位为笛特（det）；3个信息量单位之间的转化关系为：1nat=log2e=1.433bit1det=log210=3.322bit2.随机事件的不确定性出现概率大的随机事件，包含的不确定性小，即自信息量小；出现概率小的随机事件，包含的不确定性大，即自信息量大；出现概率为1的随机事件，包含的不确定性为0，即自信息量为0；3.不确定度与自信息量：信源符号自信息量：指某一符号出现后，提供给收信者的信息量；

3、信源符号不确定度：它是信源符号固有的，不管符号是否发出，都存在不确定度。信源符号自信息量与信源符号不确定度在数量上相等，两者单位也相同。4.自信息量的特性：１　　　　　，２　　　　　，３　非负性；４　单调递减性；５　可加性：5.联合自信息量与条件自信息量当和相互独立时，有于是有若有两个符号、同时出现，用联合概率来表示，联合自信息量为条件自信息量：当和相互联系时，在事件出现的条件下，的自信息量称为条件自信息量，定义为为在事件出现的条件下，发生的条件概率。例2-3：英文字母中“e”的出现概率为0.105，“o”的出现概率为0.

4、001。分别计算它们的自信息量。解：“e”的自信息量I(e)=-log20.105=3.25bit;“o”的自信息量I(o)=-log20.001=9.97bit;例:居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？解：设x1为女孩是大学生；x2为身高1.6m以上的女孩；则p(x1)=1/4;p(x2)=1/2;“女大学生中有75％身高为1.6m以上”即p(x2

5、x1)=3/4;事件“身高

6、1.6m以上的某女孩是大学生”出现的概率为则信息量2.2.2离散信源熵1.平均自信息量对于一个给定信源，各个符号的自信息量是与各自的概率分布有关的一个随机变量，不能作为信源总体的信息量度，我们采用求平均的方法。定义自信息量的数学期望为信源的平均自信息量，即单位2.信源熵（信源的平均不确定度）信源熵H(X)，表示平均意义上信源的总体特性，是在总体平均意义上的信源不确定性。信源熵在数量上等于平均自信息量，但两者的含义不同：平均自信息量：消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者

7、说，获得这样大的信息量后，信源不确定度就被消除了。信源平均不确定度（信源熵）：在总体平均意义上的信源不确定度。不管是否输出符号，只要这些符号具有某种概率分布，就决定了信源的平均不确定度（信源熵）。例2-5设信源符号集X＝{x1,x2,x3},每个符号发生的概率分别为p(x1)=1/2，p(x2)=1/4，p(x3)=1/4，求信源熵H(X)。解：即该信源中平均每个符号所包含的信息量为1.5bit。例:已知某信源的概率空间为求由该信源发出60个符号构成的消息所含的信息量。解：先求平均每个符号的信息量，即信息熵则消息所含的信息

8、量为60×H(X)=114.3bit3.联合熵和条件熵（1）联合熵（共熵）联合熵是联合符号集合（X,Y）的每个元素对的自信息量的概率加权统计平均值，它表示X和Y同时发生的不确定度。定义为（2）条件熵条件熵是在联合符号集合（X，Y）上的条件自信息量的联合概率加权统计平均值。H(X

9、Y)表示已知Y后，X的不确定度。它表示信源Y发符号yj的前提下，信源X每发一个符号提供的平均信息量。当X和Y相互独立时，存在既有H(X

10、Y)当Y取特定值yj时，X集合的条件熵H(X

11、yj)为例2-8一个二进制信源X发出符号集{0,1}，经过离散无记

12、忆信道传输，信道输出用Y表示。由于信道中存在噪声，接收端除收到0和1的符号外，还有不确定的符号，用“？”表示。已知X的先验概率为P(x=0)=2/3,P(x=1)=1/3,符号的转移概率为P(y=0

13、x=0)=3/4,P(y=?

14、x=0)=1/4,P(y=1

15、x=1)=1/2,P(y=?

16、x=1)=1/