信息论与编码-第二章-信源熵r.ppt

《信息论与编码-第二章-信源熵r.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函数第5章：信源编码第6章：信道编码第7章：密码体制的安全性测度§2.1单符号离散信源§2.3连续信源§2.2多符号离散信源§2.4离散信源无失真编码定理信息度量的方法有：结构度量、统计度量、语义度量、语用度量、模糊度量等等。最常用的方法是统计度量。它用事件统计发生概率的对数描述事物的不确定性，得到消息的信息量，建立熵的概念。熵概念是香农信息论最基本最重要的概念。信息论是在信息可以度量的前提下，研究有效地、可靠地、安全地传输信息的科学。4通信系统一般模型包括：信源、编码器、信道、译码器、信宿五部分信道编码信源

2、编码保密译码信道译码信源译码保密编码噪声信道信源信宿§2.1.6各种熵之间的关系§2.1.1单符号离散信源的数学模型§2.1.2自信息和信源熵§2.1.3信源熵的基本性质和定理§2.1.4加权熵的概念和基本性质§2.1.5平均互信息连续信源多符号离散信源离散信源信源输出的是一个个符号，这些符号的取值是有限的或可数的。单符号离散信源只涉及一个随机事件的离散信源。可用离散随机变量来描述。涉及多个随机事件的离散信源。可用随机矢量来描述。输出连续消息的信源。可用随机过程来描述。信源离散信源连续信源单符号多符号随机变量随机矢量随机过程信源分类对于离散随机变量，取值于集合单符号离

3、散信源的数学模型为(2.1.2)对任一记(2.1.1))(,),(,),(),(,,,,,)(2121þýüîíì=úûùêëéniniapapapapaaaaXPXLLLL满足其中)(iap需要注意的是：大写字母X、Y、Z代表随机变量，指的是信源整体。带下标的小写字母:代表随机事件的某一结果或信源的某个元素。两者不可混淆。§2.1.4加权熵的概念和基本性质§2.1.1单符号离散信源的数学模型§2.1.2自信息和信源熵§2.1.3信源熵的基本性质和定理§2.1.5平均互信息§2.1.6各种熵之间的关系随机变量X、Y分别取值于集合联合随机变量取值于集合记无条件概率、条件

4、概率、联合概率满足下面一些性质和关系：123456一、信息量自信息量联合自信息量条件自信息量信息量单位：比特(2为底)、奈特、笛特（哈特）三个信息单位之间的转换关系如下：自信息量：一个随机事件发生后所带来的信息量1一个以等概率出现的二进制码元(0,1)所包含的自信息量为1bit。例[2.1.1]这四种气候的自信息量分别为:某地二月份天气的概率分布统计如下：自信息量具有下列性质:图2.1.1对数曲线1是非负值。23的单调递减函数。4联合自信息量2，其中),,2,1;,,2,1(1)(0mjnibapjiLL==££代入式(2.1.3)就有不确定度表示含有多少信息，信息量

5、表示随机事件发生后可以得到多少信息。条件自信息量3条件概率对数的负值的变化而变化。自信息量、条件自信息量和联合自信息量之间有如下关系式：联合自信息量和条件自信息也满足非负和单调递减性，同时，它们也都是随机变量，其值随着变量二、互信息量和条件互信息量离散信源X的数学模型为互信息量1信宿Y的数学模型为图2.1.3简单通信系统模型信源X信宿Y有扰信道C干扰源N后验概率:),,2,1;,,2,1(2.1.7)()(log);(mjniapbapbaIabijijiijLL===）（的互信息量为对定义先验概率:例[2.1.2]继续讨论第一节的例题，即某地二月份天气构成的信源为一

6、天有人告诉你：今天不是晴天。率变成后验概率了。其中两个不确定度之差，是不确定度被消除的部分，代表已经确定的东西。先验不定度（联合自信息量）发送接收物理解释：通信前后验不定度通信后发送接收这样，通信后流经信道的信息量，等于通信前后不定度的差互信息的性质对称性1236当X和Y相互独立时，互信息为0互信息量可为正值或负值23当互信息量为负时，说明信宿收到后不仅没有使的不确定度减小，反而增大。这是通信受到干扰或发生错误所造成的。37(2.1.12))()(log);(ikjikjiapcbapcbaI=消息与消息之间的互信息定义为：是，也是的已知条件。条件互信息量(2.1.1

7、3)3信源熵熵条件熵联合熵三.信源熵已知单符号离散无记忆信源的数学模型这里的符号是指代表信源整体的X信源熵1信源熵各离散消息自信息量的数学期望，即信源的平均信息量。信源的信息熵；香农熵；无条件熵；熵函数；熵。单位：比特/符号。熵非负。例[2.1.3]继续讨论第一节的例题，即某地二月份天气构成的信源为由式(2.1.16)的定义，该信源的熵为信源熵和平均自信息量两者在数值上是相等的，但含义并不相同。信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源