编码理论 教学课件 作者 田丽华 资源第2章 无失真信源编码.ppt

《编码理论 教学课件 作者 田丽华 资源第2章 无失真信源编码.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章无失真信源编码2.1信息量、熵和互信息量2.2信源编码定理2.3霍夫曼码及其他编码方法2.4算术编码2.5游程编码2.6改进的霍夫曼码2.7通用编码2.1信息量、熵和互信息量由于信源发出的消息是不确定的，只有当信源发出的消息通过信道传输给收方信宿后，才能消除不确定性并获得信息。事件发生的不确定性与事件发生的概率有关。事件发生的概率越小，猜测它有没有发生的困难程度就越大，不确定性就越大；而事件发生的概率越大，猜测这事件发生的可能性就越大，不确定性就越小。对于发生概率等于1的必然事件，就不存在不确定性。也就是说，信源发生的概率越小，一旦它出

2、现必然使人感到意外，给人的信息量就越大；当消息的概率很小，即几乎不可能的消息出现了，则会给人以巨大的信息量。反之，消息出现的概率很大，一旦出现人们不会感到意外，所以给人的信息量就很小，对必然出现的信息，则不具任何信息量，从数学理论知对数函数就有上述特征。因此给出如下的信息量定义。给出一个离散信源：其中p（ui）为ui出现概率，且如果消息ui已发生，则ui包含的自信息量为（2―1）式中：p（ui）——ui发生的先验概率；I（ui）——ui发生所含信息量。自信息量的单位与所用对数底有关。在信息论中常用的对数底是2，信息量的单位是比特（bit）

3、，即：I(ui)＝－lbp（ui）（比特）；若取自然对数e为底，则信息量的单位为奈特（nat），即：I(ui)＝－lnp（ui）（奈特）；若以10为对数底，则信息量的单位为笛特（det），即I(ui)＝－lgp（ui）（笛特）。这三个信息量单位之间的转换关系如下：1bit≈0.693nat≈0.301det如果p（ui）＝0.5,则由式（2―1）得I（ui）＝1　bit。所以1比特信息量就是两个互不相容的等可能事件之一发生时所提供的信息量。在这里，比特是指抽象的信息量单位，与计算机术语中“比特”的含义有所不同。当事件ui发生前，其自信息量I(

4、ui)表示事件发生的不确定性；当事件ui发生后，其自信息量I(ui)表示事件所能提供的信息量。自信息量是针对信源发出的某一个消息而言所得出的信息量，不同的消息对应不同的自信息量。自信息量I(ui)是一个随机变量，其中任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量，即：(2―2)这个平均自信息量的表达式和统计物理学中热熵的表达式很相似。在统计物理学中，热熵是一个物理系统杂乱性（无序性）的度量。这在概念上也有相似之处。因而就借用“熵”这个词把平均自信息量H（U）称

5、为“信息熵”。信息熵的单位由自信息量的单位决定，即取决于对数底的选取，今后如不特殊说明，信息熵的单位为比特。信源的信息熵是从整个信源的统计特性来考虑的，它是从平均意义上来表征信源的总体信息测度的。对于某特定的信源（概率空间给定），其信息熵是一个特定的值。不同的信源因统计特性不同，其熵也不同。信息熵用以表征信息源的平均不确定性，平均自信息量是消除信源不确定性时所需信息的量度，即收到一个信源符号，全部解除了这个符号的不确定性。或者说获得这样大的信息量后，信源不确定性就被消除了。信息熵和平均自信息量两者在数值上相等，但含义不同。某一信源，不管它是否输

6、出符号，只要这些符号具有某些概率特性，就必有信源的熵值；这熵值在总体平均上才有意义，因而是一个确定的值。而另一方面，信息量则只有当信源输出的符号被接收者收到后才有意义，信息量就是给予接收者的信息度量，该值本身可以是随机量，也可以与接收者的情况有关。因此说信息熵是信源的平均不确定性的描述，一般情况下它并不等于平均获得的信息量。只是在无噪情况下，接收者才能正确无误地接收到信源所发出的信息，消除了信息熵H（U）值大小的平均不确定性，所以获得的平均信息量就等于信息熵H（U）的值。在一般情况下获得的信息量是两熵之差，并不是信息熵本身。信息熵是信源输出的

7、信息量，是信源包含的平均信息量，或信息的平均不确定性，而真正被接收者收到的信息是互信息。它是与收发双方都有关系的相对量，是指接收者从信源发送者中所获得的信息量。设信道输入为其中p（xi）为xi出现概率,i＝１,２,…,n。信道输出为其中p（yj）为yj出现概率，j＝１,２,…,m。由于收方信宿事先不知道信源在某一时刻发出的是哪一个符号，所以每个符号消息是一个随机事件。通常信宿可以预先知道信源X发出的各个消息的集合，以及它们的概率分布，即预知信源X的先验概率p（xi）。信息熵H（X）是在接收到Y以前，关于X的先验不确定性的度量，是X中某一个

8、符号（事件）出现所必须提供的信息量，所以称为先验熵。如果信道中无干扰（噪声），信道输出符号与输入符号一一对应，那么，接收到传送过来的符号就消除了对发送