信息论第二章节

《信息论第二章节》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信源及信源熵★本章大纲1、自信息量、离散信源熵、条件熵、联合熵、互信息量的概念及计算。2、连续信源的相对熵的计算。3、离散无记忆信源的序列熵的计算。4、马尔可夫信源熵的计算。10/16/202112.1信源的描述和分类一、香农信息论的基本点用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。二、信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类：信源{离散信源连续信源10/16/202121、连续信源连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。2、离散信源离散信源是

2、指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源10/16/202133、离散无记忆信源离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。4、离散有记忆信源离散有记忆信源所发出的各个符号的概率是有关联的。5、发出单个符号的信源发出单个符号的信源是指信源每次只发出一个符号代表一个消息；6、发出符号序列的信源发出符号序列的信源是指信源每次发

3、出一组含二个以上符号的符号序列代表一个消息。10/16/202147、发出符号序列的有记忆信源发出符号序列的有记忆信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。8、发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。10/16/20215三、先验概率及概率空间的形式符号的先验概率一个离散信源发出的各个符号消息的集合为，它们的概率分别为为符号的先验概率。通常把它们写到一起，称为概率空间：10/16/20216,

4、显然有10/16/202172.2离散信源熵和互信息问题：什么叫不确定度？什么叫自信息量？什么叫平均不确定度？什么叫信源熵？什么叫平均自信息量？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？10/16/20218什么叫后验概率？什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或散布度）？数据处理定理是如何描述的？熵的性质有哪些？10/16/20219定义：一个随机事件的自信息量定义为其出现概率对数的负值。即:2.2.1自信息量自信息量说明：因为概率越小，的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于是随机出现的，它是X的一个样值，所以是一个随机量。而是

5、的函数，它必须也是一个随机量。10/16/202110自信息量的单位的确定在信息论中常用的对数底是2，信息量的单位为比特（bit）；若取自然对数，则信息量的单位为奈特（nat）；若以10为对数底，则信息量的单位为笛特（det）。这三个信息量单位之间的转换关系如下：1nat＝log2el.433bit1det＝log2103.322bit10/16/202111几个例子一个以等概率出现的二进制码元（0，1）所包含的自信息量为：I（0）=I（1）=-log2（1/2）=log22=1bit若是一个m位的二进制数，因为该数的每一位可从0,1两个数字中任取一个，因此有2m个等概率的可能组合。所以I

6、=-log2(1/2m)=mbit，就是需要m比特的信息来指明这样的二进制数。10/16/202112定义：随机事件的不确定度在数量上等于它的自信息量．说明:两者的单位相同，但含义却不相同。具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。不确定度10/16/202113一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；若是确定性事件，出现概率为1，则它包含的不确定度为0。10/16/2021

7、14定义：两个消息xi，yj同时出现的联合自信息量注意:当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有I(xiyj)=I(xi)+I(yj)。xiyj所包含的不确定度在数值上也等于它们的自信息量。联合自信息量10/16/202115定义：在事件yj出现的条件下，随机事件xi发生的条件概率为，则它的条件自信息量定义为条件概率对数的负值：注意:在给定yj条件下，随机事件xi所包含的不确定度在数值上与