资源描述：
《信息论与编码 信源与信息熵.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、2.1信源的描述和分类2.2离散信源熵和互信息2.3离散序列信源熵2.4连续信源的熵和互信息2.5冗余度内容12.3离散序列信源熵22.3离散序列信源熵前面讨论了单个消息（符号）的离散信源熵，并较详细地讨论了它的性质。然而实际信源的输出往往是空间或时间的离散随机序列，其中有无记忆的离散信源熵序列，当然更多的序列是有记忆的，即序列中的符号之间有相关性。此时需要用联合概率分布函数或条件概率分布函数来描述信源发出的符号间的关系。这里讨论离散无记忆序列信源和两类较简单的离散有记忆序列信源(平稳序列和齐次遍历马尔可
2、夫链信源)。3离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源2.3.1离散无记忆信源的序列熵发出单个符号的信源指信源每次只发出一个符号代表一个消息；发出符号序列的信源指信源每次发出一组含二个以上符号的符号序列代表一个消息。4发出符号序列的信源发出单个符号的信源5离散无记忆信源的序列熵随机序列的概率为设信源输出的随机序列为X=(X1X2…Xl…XL)序列中的单个符号变量Xl∈{x1,x2,…xn},l=1,2,…,
3、L.X称为离散无记忆信源X的L次扩展信源6离散无记忆信源的序列熵信源的序列熵为随机序列的概率为7离散无记忆信源的序列熵当信源无记忆时信源的序列熵8离散无记忆信源的序列熵若又满足平稳特性,即与序号l无关时：信源的序列熵平均每个符号(消息)熵为离散无记忆信源平均每个符号的符号熵HL(X)等于单个符号信源的符号熵H(X)9例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵:即用1比特就可表示该事件。如果以两个符号出现(L=2的序列)为一事件，则随机序列X∈(00,0
4、1,10,11)，信源的序列熵即用2比特才能表示该事件。信源的符号熵10例:有一离散平稳无记忆信源求：二次扩展信源的熵X2信源的元素a1a2a3a4a5a6a7a8a9对应的消息序列x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3x2x3x3概率p(ai)1/41/81/81/81/161/161/81/161/1611平均每个符号(消息)熵为信源的序列熵序列熵为122.3.2离散有记忆信源序列熵对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念,而且只能在某些特殊情况下才能得到
5、一些有价值的结论。对于由两个符号组成的联合信源,有下列结论:当前后符号无依存关系时,有下列推论：13信源的联合熵(即前后两个符号(X1,X2)同时发生的不确定度)等于信源发出前一个符号X1的信息熵加上前一个符号X1已知时信源发出下一个符号X2的条件熵。对于一般的有记忆信源如文字、数据等，它们输出的不是单个或两个符号，而是由有限个符号组成的序列，这些输出符号之间存在着相互依存的关系。可依照上述结论来分析序列的熵值。离散有记忆信源序列熵14若信源输出一个L长序列,则信源的序列熵为平均每个符号的熵为：若当信源退
6、化为无记忆时:若进一步又满足平稳性时15a0a1a2a09/112/110a11/83/41/8a202/97/9例2-12已知离散有记忆信源中各符号的概率空间为:设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率p(aj
7、ai)表示,如表.p(aj
8、ai)求离散信源的序列熵和平均每个符号熵?16由p(ai,aj)=p(ai)p(aj
9、ai)计算得联合概率p(aiaj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36当信源符号之间无依赖性时,信源X的信息熵
10、为当考虑符号之间有依赖性时,计算得条件熵H(X2
11、X1)＜H(X)信源的条件熵比无依赖时的熵H(X)减少了0.671比特,这正是因为符号之间有依赖性所造成的结果。17联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量。我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为:符号之间存在关联性发二重符号序列的熵比较或18离散平稳信源对于离散平稳信源,有下列结论：⑴条件熵H(XL
12、XL-1)随L的增加是非递增的条件较多的熵必小于或等于条件较少的熵，而条
13、件熵必小于或等于无条件熵。平稳性，联合概率具有时间推移不变性。19⑶HL(X)是L的单调非增函数HL(X)≤HL-1(X)⑷H∞(X)称为平稳信源的极限熵或极限信息量H0(X)≥H1(X)≥H2(X)≥…≥H∞(X)⑵L给定时,平均符号熵≥条件熵：HL(X)≥H(XL
14、XL-1)推广结论3可得：不等概率无记忆信源单个符号的熵两个符号组成的序列平均符号熵等概率无记忆信源单个符号的熵20马尔可夫信源的信息熵马尔可夫信源齐次、遍历的
