资源描述：
《信源与信息熵2.2 离散信源熵和互信息.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信源与信息熵3讲）程卫军8/2/202112.1信源的描述和分类2.2离散信源熵和互信息2.3离散序列信源的熵2.4连续信源的熵和互信息2.5冗余度本章内容8/2/202122.2离散信源熵和互信息8/2/20213离散信源熵和互信息问题：什么叫不确定度？什么叫自信息量？什么叫平均不确定度？什么叫信源熵？什么叫平均自信息量？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？8/2/20214离散信源熵和互信息问题：什么叫后验概率？什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或散布度）？数据处理定理是如何描述的？熵的性质有哪些？8/2/2021
2、52.2.3互信息设有两个随机事件X和Y,X取值于信源发出的离散消息集合,Y取值于信宿收到的离散符号集合有扰信道干扰源信源X信宿Y信宿收到yj后推测信源发出xi的概率p(xi
3、yj)称为后验概率。信源发出消息xi的概率p(xi)称为先验概率。8/2/20216单个符号之间的互信息定义为xi的后验概率与先验概率比值的对数表示接收到某消息yj后获得的关于事件xi的信息量。8/2/20217平均互信息平均互信息定义：接收端接收到符号集Y后平均每个符号获得的关于X的信息量。信息=先验不确定性－后验不确定性=不确定性减少的量Y未知，X的不确定度为H(X)Y已知，X的不确定度变为H(
4、X
5、Y)X与Y相互独立，则H(X
6、Y)=H(X)，I(X;Y)=0;如果是一一对应信道,接收到Y后,对X的不确定性将完全消除：H(X
7、Y)=0一般情况：H(X
8、Y)＜H(X),即了解Y后对X的不确定度的将减少8/2/20218H(X
9、Y)：信道疑义度，损失熵信源符号通过有噪信道传输后所引起的信息量的损失。又可看作由于信道上存在干扰和噪声，接收端获得Ｙ后还剩余的对信源Ｘ的平均不确定度，故又称为疑义度。信源X的熵等于接收到的信息量加上损失掉的信息量。H(Y
10、X)：噪声熵，散布熵它反映了信道中噪声源的不确定性。输出端信源Y的熵H(Y)等于接收到关于X的信息量I(X;Y)加上H(
11、Y
12、X),这完全是由于信道中噪声引起的。8/2/20219收发两端的熵关系H(X)H(Y)I(X;Y)H(X
13、Y)H(Y
14、X)8/2/202110熵的意义（对通信系统）H(X)：表示信源中每个符号的平均信息量（信源熵）H(Y)：表示信宿中每个符号的平均信息量（信宿熵）H(X
15、Y)：表示在输出端接收到Y的全部符号后，发送端X尚存的平均不确定性。这个对X尚存的不确定性是由于干扰引起的。信道疑义度(损失熵，含糊度)H(Y
16、X)：表示在已知X的全部符号后，对于输出Y尚存的平均不确定性。信道散布度(噪声熵)H(XY)：表示整个信息传输系统的平均不确定性（联合熵）。8/2/20211
17、1平均互信息与各类熵的关系H(X
18、Y)H(X)H(Y)H(XY)H(Y
19、X)I(X;Y)维拉图8/2/202112三个变量的互信息量在有3个变量的情况下,符号xi与符号对（yj,zk）之间的互信息量定义为定义在已知事件zk的条件下,接收到yj后获得关于某事件xi的条件互信息8/2/202113第一级处理器第二级处理器XYZ输入级联处理器2.2.4数据处理中信息的变化数据处理定理:当消息通过多级处理器时,随着处理器数目增多,输入消息与输出消息间的平均互信息量趋于变小说明：当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或
20、消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。假设Y条件下X和Z相互独立8/2/202114信息熵是信源概率空间的一种特殊矩函数，其大小与信源的符号数及其概率分布有关。H(P)是概率矢量P的函数，称为熵函数。1、对称性：H(P)的取值与分量p1,p2,···,pq的顺序无关。2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=03、非负性：H(P)04、扩展性：信源的取值数增多时，若这些取值对应的概率很小(接近于零)，则信源的熵不变。5、可加性：统计独立信源X和Y：H(XY)=H(X)+H(Y)6、强可加性：两个互相关联的信源
21、H(XY)=H(X)+H(Y/X)7、递增性8、极值性：离散信源，各符号等概分布时，熵值达到最大。9、香农辅助定理10、上凸性2.2.5熵的性质8/2/2021152.3离散序列信源的熵8/2/2021162.3.1离散无记忆信源的序列熵随机序列的概率为设信源输出的随机序列为X=(X1X2…Xl…XL)序列中的变量Xl∈{x1,x2,…xn}X称为离散无记忆信源X的L次扩展信源8/2/202117离散无记忆信源的序列熵当信源无记忆时信源的序列熵8/2/202118离散无记忆信源的序列熵若又满足平稳特性,即与序号l无关时：信源的
