信息论与编码原理

《信息论与编码原理》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码原理（第二章）──────────────信源及其信息量9/7/20211DepartmentofElectronicsandInformation,NCUTSongPeng第二章信源及其信息量本章重点：信源的统计特性和数学模型、各类信源的信息测度—熵及其性质。2.1单符号离散信源2.2扩展信源2.3连续信源2.4离散无失真信源编码定理2.5小结9/7/20212DepartmentofElectronicsandInformation,NCUTSongPeng2.1单符号离散信源2.1.1离散变量的自信息量

2、2.1.2信息熵2.1.3熵的基本性质和定理2.1.4互信息量2.1.5熵之间的关系9/7/20213DepartmentofElectronicsandInformation,NCUTSongPeng2.1.1离散变量的自信息量信息度量的方法：最常用的方法是统计度量。在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。不确定性可以用概率论与随机过程来描述。香农信息论的基本假说：用随机变量研究信息。(1)信源的描述方法(2)单符号离散信源数学模型(3)自信息量和条件自信息量2.1单符号离散信源9/7/202

3、14DepartmentofElectronicsandInformation,NCUTSongPeng2.1.1离散变量的自信息量(1)信源的描述方法①离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。单符号离散信源：只涉及一个随机事件，可用随机变量描述。扩展信源/多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机矢量描述。②连续信源：输出连续消息。可用随机过程描述。2.1单符号离散信源9/7/20215Departme

4、ntofElectronicsandInformation,NCUTSongPeng2.1.1离散变量的自信息量(2)单符号离散信源数学模型单符号离散信源的数学模型就是离散型的概率空间：X—随机变量，指的是信源整体xi—随机事件的某一结果或信源的某个元素p(xi)=P(X=xi)—随机事件X发生某一结果xi的概率。n是有限正整数或可数无限大2.1单符号离散信源9/7/20216DepartmentofElectronicsandInformation,NCUTSongPeng2.1.1离散变量的自信息量(3)自信息量①自

5、信息量②联合自信息量③条件自信息量2.1单符号离散信源9/7/20217DepartmentofElectronicsandInformation,NCUTSongPeng2.1.1离散变量的自信息量(3)自信息量①自信息量信息量与不确定性信源中某一消息发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，获得的信息也就越大。由于种种原因（例如噪声太大），收信者接收到受干扰的消息后，对某信息发生的不确定性依然存在或者一点也未消除时，则收信者获得较少的信息或者说一点也没有获得信息。2.1单符号离散信源9/

6、7/20218DepartmentofElectronicsandInformation,NCUTSongPeng2.1.1离散变量的自信息量(3)自信息量①自信息量信息量与不确定性信息量的直观定义：收到某消息获得的信息量＝不确定性减少的量＝(收到此消息前关于某事件发生的不确定性)－(收到此消息后关于某事件发生的不确定性)2.1单符号离散信源9/7/20219DepartmentofElectronicsandInformation,NCUTSongPeng2.1.1离散变量的自信息量(3)自信息量①自信息量信息量与不确

7、定性信息量的直观定义：在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此：收到某消息获得的信息量＝收到此消息前关于某事件发生的不确定性＝信源输出的某消息中所含有的信息量2.1单符号离散信源9/7/202110DepartmentofElectronicsandInformation,NCUTSongPeng2.1.1离散变量的自信息量(3)自信息量①自信息量不确定性与发生概率事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。事件

8、发生的概率越大，我们猜测这件事发生的可能性就越大，不确定性就越小。概率等于1的必然事件，就不存在不确定性。某事件发生所含有的信息量应该是该事件发生的先验概率的函数。2.1单符号离散信源9/7/202111DepartmentofElectronicsandInformation,NCUTSongPeng2.1.1离散