第二章 信源和信息熵.ppt

《第二章 信源和信息熵.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章信源和信息熵2.1信源的数学模型及分类2.2离散信源的信息熵2.3离散平稳信源的熵2.4连续信源的熵2.1信源的数学模型及分类通信系统模型及信息传输模型：一、离散无记忆信源例：扔一颗质地均匀的正方体骰子，研究其下落后，朝上一面的点数。每次试验结果必然是1点、2点、3点、4点、5点、6点中的某一个面朝上。每次试验只随机出现其中一种消息，不可能出现这个集合以外的消息，考察此事件信源的数学模型。解：数学模型为：且满足：离散信源：信源输出是单一符号的消息，其符号集的取值是有限的或可数的。无记忆：不同

2、的信源输出消息之间相互独立。一维离散信源数学模型就是离散型的概率空间：且满足：连续信源：信源输出数据取值是连续的，但又是随机的，即可能出现的消息数是不可数的无限值。数学模型是连续型的概率空间：且满足：X的概率密度函数实数集（－∞，＋∞）随机矢量：信源输出的消息是按一定概率选取的符号序列。用N维随机矢量X描述：X＝（x1，x2，‥‥xN）其中：N维随机矢量X也称为随机序列（过程）。平稳随机序列：序列的统计性质与时间的推移无关。二、信源分类（1）根据随机序列X中每个随机变量xi的取值不同：离散平稳信源

3、：如语言文字、离散化平面图像连续平稳信源：如语音信号、热噪声信号等（2）信源发出的符号间彼此是否独立：无记忆信源：随机矢量的各分量相互独立有记忆信源：随机矢量的各分量不相互独立表述有记忆信源比无记忆信源困难的多，实际中，信源发出的符号往往只与前若干符号的依赖关系强，与更前面的符号依赖关系弱，这类信源可用马尔可夫信源表示。不同统计特性的信源可用随机变量、随机矢量以及随机过程描述其输出的消息。2.2离散信源的信息熵一、信息量和熵信息的度量应符合实际情况：出现概率小的随机事件，不确定性大，信息量大；出现

4、概率大的随机事件，不确定性小，信息量小；概率为1的确定事件，信息量为0。香农定义的自信息量I(x)：任意随机事件出现概率的对数的负值表示自信息量。设随机事件xi的出现概率为pi，则自信息为：I(xi)＝－logpi＝log(1/pi)例：一个输出两种消息的离散无记忆信源，计算消息x1、x2的自信息量，其概率空间为：解：I（x1)=-log0.99=0.014比特I（x2)=-log0.01=6.644比特自信息的两种含义：信源输出消息x1之前，自信息I(x1)是关于x1发生地不确定性的度量；而在信

5、源输出消息x1后，自信息I(x1)表示x1所含有的信息量。注意：信息单位比特（表示以2为底的对数）与计算机术语中的比特（表示二进制数的位）的意义是不同的。收到某消息获得的信息量＝收到此消息前关于某事件发生的不确定性－收到此消息后关于某事件发生的不确定性即：收信者所获得的信息量应等于信息传输前后不确定性的减少的量。例：设一条电线上串联8个灯泡，且损坏的可能性为等概，若仅有一个坏灯泡，须获知多少信息量才可确认？例解：测量前，P1(x)＝1/8，存在不确定性：I(P1(x))＝log8＝3bit第一次测

6、量获得信息量：第二次测量获得信息量：第三次测量获得信息量：每次测量获得1bit信息量，需三次测量可确定坏灯泡自信息I是一个随机变量，不能作为信源总体的信息量。定义：自信息量的数学期望为信源的平均信息量，即信源的信息熵，数学表示为：信息熵的单位取决于对数选取的底，r进制信息熵：r进制信息熵与二进制信息熵的关系：例如，有两个信源：则：H（X）=0.08比特/符号H（Y）=1比特/符号显然，信源X输出消息x1的可能性是99%，所以对X的平均不确定性较小；而信源Y输出y1、y2的可能性均为0.5，则我们对

7、Y输出哪一个消息的平均不确定性较大。熵的物理含义：信息熵H(x)是表示信源输出后，每个消息(或符号)所提供的平均信息量；信息熵H(x)是表示信源输出前，信源的平均不确定性；用信息熵H(x)来表征变量X的随机性。注意：信息熵是信源的平均不确定的描述。一般情况下，它并不等于平均获得的信息量，获得的信息量是两熵之差，并不是信息熵本身。二、信息熵的基本性质1、对称性：此性质说明：熵的总体性。它只与随机变量的总体结构有关，而不在于个别值的概率，甚至也不因随机变量取值的不同而异。2、非负性：3、扩展性：说明：

8、概率很小的值的出现，给予接收者以较大的信息，但在熵的计算中占的比重很小，这是熵的总体平均性的一种体现。4、确定性：H（1,0）＝H（0,1）＝H（1,0,0,‥）＝‥＝0说明：从熵的不确定概念来说，确知信源的不确定度应该为0。5、可加性：二个随机变量X和Y不独立时：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)二个随机变量X和Y独立时：H(XY)=H(X)+H(Y)6、极值性：H(p1,p2,‥,pq)≤－∑pilogqi，当qi＝1/q时，可见：所有概率分布pi所构成