资源描述：
《信息论与编码.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。
1、信息论与编码信源与信息熵第二章2.1信源的描述和分类2.2离散信源熵和互信息2.3离散序列信源的熵2.4连续信源的熵和互信2.5冗余度内容3离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源信源的分类离散信源指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。4信源的描述一个离散信源发出的各个符号消息的集合为：它们的概率分别为p(xi):xi的先验概率单符号离散信源的数学模型—概率空间5sos11/0.60/0.30/0.4s
2、21/0.20/0.81/0.7符号状态马氏链的基本概念6例2-2：有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率：p(0
3、00)=1/2p(1
4、00)=1/2p(0
5、01)=1/3p(1
6、01)=2/3p(0
7、10)=1/4p(1
8、10)=3/4p(0
9、11)=1/5p(1
10、11)=4/5求：⑴信源全部状态及状态转移概率⑵画出完整的二阶马尔可夫信源状态转移图。⑶求平稳分布概率700011110状态转移概率矩阵符号条件概率矩阵(1)1/2(1)3/4(0)1/3(0)1/4(0)1/2(0)1/5(1)2/3(1)4/5s2s
11、1s4s38稳态分布概率稳态后的符号概率分布92.2离散信源熵和互信息10离散信源熵和互信息问题：什么叫不确定度？什么叫自信息量？什么叫平均不确定度？什么叫信源熵？什么叫平均自信息量？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？11离散信源熵和互信息问题：什么叫后验概率？什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或散布度）？数据处理定理是如何描述的？熵的性质有哪些？122.2.1自信息量设离散信源X，其概率空间为如果知道事件xi已发生,则该事件所含有的信息量定义为:……13自信息量I(xi)含义:当事件xi发生以
12、前,表示事件xi发生的不确定性当事件xi发生以后,表示事件xi所含有的信息量自信息的单位的确定在信息论中常用的对数底是2,信息量的单位为比特(bit)；若取自然对数,则信息量的单位为奈特(nat);若以10为对数底,则信息量的单位为笛特(det)1nat＝log2e≈l.433bit，ldet＝log210≈3.322bit14自信息量不确定度定义：随机事件的不确定度在数量上等于它的自信息量。说明:两者的单位相同，但含义却不相同。具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的
13、信息量。15自信息量二进制码元0,1,当符号概率为p(0)=1/4,p(1)=3/4,则这两个符号的自信息量为：I(0)=－log2(1/4)=log24=2bitI(1)=－log2(3/4)=0.4151bit一个以等概率出现的二进制码元(0，1)所包含的自信息量为：I(0)=I(1)=－log2(1/2)=log22=1bit一个m位的二进制数,有2m个等概率的可能组合I=－log2(1/2m)=mbit16自信息量I(xi)的特性：⑴I(xi)是非负值⑵当p(xi)=1时，I(xi)=0⑶当p(xi)=0时，I(xi)=∞⑷I(xi)是先验概
14、率p(xi)的单调递减函数，即当p(x1)＞p(x2)时，I(x1)＜I(x2)⑸两个独立事件的联合信息量等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。17自信息量一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；若是确定性事件，出现概率为1，则它包含的不确定度为0。18自信息量联合自信息量两个消息xi，yj同时出现的联合自信息量注意:当xi,yj相互独立时，有p(xiyj)=p(xi)p(yj)，那么就有I(
15、xiyj)=I(xi)+I(yj)。xiyj所包含的不确定度在数值上也等于它们的自信息量。19自信息量条件自信息量在事件yj出现的条件下，随机事件xi发生的条件概率为p(xi
16、yj)，则它的条件自信息量定义为条件概率对数的负值：注意:在给定yj条件下,随机事件xi所包含的不确定度在数值上与条件自信息量相同,但两者含义不同。20例2-3英文字母中“e”出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：“e”的自信息量I(e)=－log20.105=3.25bit“c”的自信息量I(c)=－l
17、og20.023=5.44bit“o”的自信息量I(o)=－log20.001＝9.97bit21例一个布袋
