《信源和信息熵》PPT课件

《《信源和信息熵》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章信源和信息熵2.1信源的数学模型及分类2.2离散信源的信息熵2.3离散平稳信源的熵2.4连续信源的熵2.1信源的数学模型及分类通信系统模型及信息传输模型：一、离散无记忆信源例：扔一颗质地均匀的正方体骰子，研究其下落后，朝上一面的点数。每次试验结果必然是1点、2点、3点、4点、5点、6点中的某一个面朝上。每次试验只随机出现其中一种消息，不可能出现这个集合以外的消息，考察此事件信源的数学模型。解：数学模型为：且满足：离散信源：信源输出是单一符号的消息，其符号集的取值是有限的或可数的。无记忆：不同的信源输出消息之间相互独立。一维离散信源数学模型就是离散型的概率空间：且满足：连续信源：

2、信源输出数据取值是连续的，但又是随机的，即可能出现的消息数是不可数的无限值。数学模型是连续型的概率空间：且满足：X的概率密度函数实数集（－∞，＋∞）随机矢量：信源输出的消息是按一定概率选取的符号序列。用N维随机矢量X描述：X＝（x1，x2，‥‥xN）其中：N维随机矢量X也称为随机序列（过程）。平稳随机序列：序列的统计性质与时间的推移无关。二、信源分类（1）根据随机序列X中每个随机变量xi的取值不同：离散平稳信源：如语言文字、离散化平面图像连续平稳信源：如语音信号、热噪声信号等（2）信源发出的符号间彼此是否独立：无记忆信源：随机矢量的各分量相互独立有记忆信源：随机矢量的各分量不相互独立

3、表述有记忆信源比无记忆信源困难的多，实际中，信源发出的符号往往只与前若干符号的依赖关系强，与更前面的符号依赖关系弱，这类信源可用马尔可夫信源表示。不同统计特性的信源可用随机变量、随机矢量以及随机过程描述其输出的消息。2.2离散信源的信息熵一、信息量和熵信息的度量应符合实际情况：出现概率小的随机事件，不确定性大，信息量大；出现概率大的随机事件，不确定性小，信息量小；概率为1的确定事件，信息量为0。香农定义的自信息量I(x)：任意随机事件出现概率的对数的负值表示自信息量。设随机事件xi的出现概率为pi，则自信息为：I(xi)＝－logpi＝log(1/pi)例：一个输出两种消息的离散无记

4、忆信源，计算消息x1、x2的自信息量，其概率空间为：解：I（x1)=-log0.99=0.014比特I（x2)=-log0.01=6.644比特自信息的两种含义：信源输出消息x1之前，自信息I(x1)是关于x1发生地不确定性的度量；而在信源输出消息x1后，自信息I(x1)表示x1所含有的信息量。注意：信息单位比特（表示以2为底的对数）与计算机术语中的比特（表示二进制数的位）的意义是不同的。收到某消息获得的信息量＝收到此消息前关于某事件发生的不确定性－收到此消息后关于某事件发生的不确定性即：收信者所获得的信息量应等于信息传输前后不确定性的减少的量。例：设一条电线上串联8个灯泡，且损坏的

5、可能性为等概，若仅有一个坏灯泡，须获知多少信息量才可确认？例解：测量前，P1(x)＝1/8，存在不确定性：I(P1(x))＝log8＝3bit第一次测量获得信息量：第二次测量获得信息量：第三次测量获得信息量：每次测量获得1bit信息量，需三次测量可确定坏灯泡自信息I是一个随机变量，不能作为信源总体的信息量。定义：自信息量的数学期望为信源的平均信息量，即信源的信息熵，数学表示为：信息熵的单位取决于对数选取的底，r进制信息熵：r进制信息熵与二进制信息熵的关系：例如，有两个信源：则：H（X）=0.08比特/符号H（Y）=1比特/符号显然，信源X输出消息x1的可能性是99%，所以对X的平均不

6、确定性较小；而信源Y输出y1、y2的可能性均为0.5，则我们对Y输出哪一个消息的平均不确定性较大。熵的物理含义：信息熵H(x)是表示信源输出后，每个消息(或符号)所提供的平均信息量；信息熵H(x)是表示信源输出前，信源的平均不确定性；用信息熵H(x)来表征变量X的随机性。注意：信息熵是信源的平均不确定的描述。一般情况下，它并不等于平均获得的信息量，获得的信息量是两熵之差，并不是信息熵本身。二、信息熵的基本性质1、对称性：此性质说明：熵的总体性。它只与随机变量的总体结构有关，而不在于个别值的概率，甚至也不因随机变量取值的不同而异。2、非负性：3、扩展性：说明：概率很小的值的出现，给予接

7、收者以较大的信息，但在熵的计算中占的比重很小，这是熵的总体平均性的一种体现。4、确定性：H（1,0）＝H（0,1）＝H（1,0,0,‥）＝‥＝0说明：从熵的不确定概念来说，确知信源的不确定度应该为0。5、可加性：二个随机变量X和Y不独立时：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)二个随机变量X和Y独立时：H(XY)=H(X)+H(Y)6、极值性：H(p1,p2,‥,pq)≤－∑pilogqi，当qi＝1/q时，可见：所有概率分布pi所构成