第2章 信源与信息熵(5).ppt

《第2章 信源与信息熵(5).ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、上节内容回顾主要内容：一、熵的性质二、数据处理中信息的变化三、离散序列信源熵四、离散平稳信源上节内容回顾一、熵的性质1非负性：2对称性：3确定性：4最大熵定理：离散无记忆信源输出M个不同消息符号，当且仅当各符号出现的概率相等时，信源熵最大。5信源熵、条件熵和联合熵之间的关系（1）条件熵小于信源熵（2）两个条件下的条件熵小于一个条件下的条件熵（3）联合熵小于信源熵之和一、熵的性质上节内容回顾6信源熵、条件熵、联合熵和互信息量之间的关系一、熵的性质上节内容回顾二、数据处理中信息的变化第一级处理器第二级处理器XYZ信息不增性:数据处理过程中只会丢

2、失一些信息，绝对不会创造出新的信息，一旦丢失信息，则用任何处理手段也不可能恢复出丢失的信息。当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互信息量趋于变小。上节内容回顾设信源输出的随机序列为：序列中的单符号变量其中的一个序列为：序列个数：上节内容回顾三、离散序列信源熵与单符号信源熵相似！！不同的是：三、离散序列信源熵上节内容回顾1、无记忆信源序列熵三、离散序列信源熵上节内容回顾任一序列概率：满足平稳特性序列熵：平均符号熵：2、有记忆信源序列熵三、离散序列信源熵上节内容回顾若信源输出一个L长序列,则信源的序列熵为⑴

3、条件熵H(XL

4、XL-1)随L的增加是非递增的。四、离散平稳信源即：条件越多，条件熵越小；序列越长，条件熵越小上节内容回顾⑵L给定时,平均符号熵≥条件熵：HL(X)≥H(XL

5、XL-1)即：序列中平均符号熵大于最后一个符号的条件熵⑶HL(X)是L的单调非增函数HL(X)≤HL-1(X)即：序列越长，平均每个符号的熵越小。2.4连续信源熵和互信息离散信源的统计特性：用概率分布描述连续信源的统计特性：用概率密度函数描述用离散变量逼近连续变量。2.4连续信源熵和互信息单变量x，设一、幅度连续的单个符号信源是连续变量x的概率密度函数由中值定理得：令

6、：根据离散信源熵的定义：2.4连续信源熵和互信息一、幅度连续的单个符号信源2.4连续信源熵和互信息对比离散信源熵：连续信源熵定义为：一、幅度连续的单个符号信源2.4连续信源熵和互信息说明：（1）形式相似。（2）意义不同：连续信源的不确定度为无穷大离散信源的不确定度为定值。可以理解为:连续信源是一个不可数的无穷多个幅度值信源，需要用无限多个二进制来表示，因而熵为无穷大。一、幅度连续的单个符号信源2.4连续信源熵和互信息实际问题中，常遇到的问题是熵之间的差值，如互信息量。为什么会有连续信源熵的定义式？连续信源熵只有相对意义，而不是绝对值。一、幅

7、度连续的单个符号信源2.4连续信源熵和互信息二、最大熵定理（1）离散信源最大熵定理离散无记忆信源输出M个不同消息符号，当且仅当各符号出现的概率相等时，信源熵最大。（2）连续信源最大熵定理限峰值功率最大熵定理限平均功率最大熵定理2.4连续信源熵和互信息二、最大熵定理限峰值功率最大熵定理信源输出的幅度X受限时（定义域有限的随机变量X），当X满足均匀分布时，具有最大熵。若变量X的幅度取值限制在[a,b]，概率密度函数为pX(x)，当满足均匀分布时，则：2.4连续信源熵和互信息二、最大熵定理限平均功率最大熵定理信源输出的平均功率受限时，当随机变量X

8、满足正态分布时，具有最大熵。概率密度函数为pX(x)为：其中：m是数学期望是方差。2.5冗余度一、冗余度的定义冗余度又称多余度，表示给定信源在实际发出消息时所包含的多余信息。若一个消息所包含的符号比表达该消息所需要的符号多，则该消息存在多余度。什么时候存在多余度？如：抛硬币正面反面0111002.5冗余度例英文中最常用的27个符号：26个字母+1个空格（1）通常，信息处理时认为各符号之间无记忆，此时：①假定各符号等概出现，则熵值为：②统计表明各符号出现的概率如P37表2-7，此时熵值：可见：各符号出现概率等概处理时，熵值较大。2.5冗余度例

9、英文中最常用的27个符号：26个字母+1个空格（2）实际英文字母存在较强的相关性，不能简单地当做无记忆信源处理。如常见的字母组合：thoneredeaastheingandherforwas①考虑二阶相关时，熵值为：②考虑三阶相关时，熵值为：可见：各符号相关性做无记忆处理时，信源熵较大。2.5冗余度结论一：冗余度来自哪里？结论二：各符号出现概率等概处理时，熵值较大。各符号相关性做无记忆处理时，信源熵较大。而实际信源各符号并非等概出现，因此实际熵小于最大熵。而实际信源各符号存在记忆性，因此实际熵小于无记忆熵。2.5冗余度来源一：冗余度来自哪里

10、？来源二：实际信源各符号概率分布不均匀性。实际信源各符号记忆性。2.5冗余度对于一般平稳信源：若考虑到信源的所有符号分布概率和各个符号之间的相关性，其熵值应该为最小值H∞(X)，