信源熵第二章2

《信源熵第二章2》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信源熵第二章—42.2.1单符号离散信源的数学模型2.2.2自信息和信源熵I、信息量1、自信息量；2、联合自信息量；3、条件自信息量II、互信息量和条件互信息量1、互信息量；2、互信息的性质；3、条件互信息量III、信源熵1、信源熵；2、条件熵；3、联合熵2.2.3信源熵的基本性质和定理2.2.4平均互信息量2.2.5各种熵之间的关系2.2单符号离散信源2回顾——单符号离散信源的信源熵3离散信源熵H(X)(平均不确定度/平均信息量/平均自信息量)定义：信源的平均不确定度H(X)为信源中各个符号不确定度的

2、数学期望，即：单位为比特/符号或比特/符号序列信源熵4信源熵条件熵联合自信息量信源熵52.2.1单符号离散信源的数学模型2.2.2自信息和信源熵I、信息量1、自信息量；2、联合自信息量；3、条件自信息量II、互信息量和条件互信息量1、互信息量；2、互信息的性质；3、条件互信息量III、信源熵1、信源熵；2、条件熵；3、联合熵2.2.3信源熵的基本性质和定理2.2.4平均互信息量2.2.5各种熵之间的关系2.2单符号离散信源62.2.3信源熵的基本性质和定理71.非负性H(X)＝H(p1，p2，…，pn)

3、≥0式中等号只有在pi=1时成立。2.对称性H(p1，p2，…，pn)=H(p2，p1，…，pn)例如：下列信源的熵都是相等的熵函数的性质83.确定性H(X)＝H(p1，p2，…，pn)≥0只要信源符号中有一个符号出现概率为1，信源熵就等于零。4.极值性(香农辅助定理)对任意两个消息数相同的信源熵函数的性质95.最大熵定理离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时即(pi＝1/M)熵最大。6.条件熵小于无条件熵熵函数的性质10假设一条电线上串联了8个灯泡x1,x2，…x8，如图

4、，这8个灯泡损坏的概率相等p(xi)=1/8，现假设只有一个灯泡已损坏，致使串联灯泡都不能点亮。未测量前,8个灯泡都有可能损坏,它们损坏的先验概率:p(xi)=1/8。这时存在的不确定性：例2-9:11第1次测量后，可知4个灯泡是好的，另4个灯泡中有一个是坏的，这时后验概率p(xi

5、y)=1/4。尚存在的不确定性所获得的信息量就是测量前后不确定性减少的量,第1次测量获得的信息量：12第2次测量后变成猜测哪2个灯泡中一个是损坏的,这时后验概率为：p(xi

6、yz)=1/2尚存在的不确定性：第2次测量获得的信

7、息量：第3次测量完全消除了不确定性，能获知哪个灯泡是坏了的。尚存在的不确定性等于零。第3次测量获得的信息量：13信源消息x1x2x3x4x5x6x7x8先验概率1/81/81/81/81/81/81/81/8后验概率第1次测量y1/41/41/41/4第2次测量z1/21/2第3次测量w1要从8个等可能损坏的串联灯泡中确定哪个灯泡是坏的，至少要获得3个bit的信息量14方法2：逐个检查第1次:x1坏，获得信息量=3bit,可能性较小1/8；x1通，其余7只中1只坏,坏灯泡的不确定性：log27=2.80

8、73bit获得信息量=3-2.8073=0.1927bit，可能性较大7/8第1次所获得的平均信息量:“对半开”第1次所获得的平均信息量:152.2.4平均互信息量16平均互信息平均互信息定义信息=先验不确定性－后验不确定性=不确定性减少的量Y未知，X的不确定度为H(X)Y已知，X的不确定度变为H(X

9、Y)17有扰信道干扰源信源X信宿Y通信系统中,若发端的符号为X，收端的符号为Y如果是一一对应信道，接收到Y后,对X的不确定性将完全消除：H(X

10、Y)=0一般情况：H(X

11、Y)＜H(X)，即了解Y后对X的不

12、确定度的将减少通过信道传输消除了一些不确定性，获得了一定的信息。平均互信息18平均互信息平均互信息的另一种定义方法：192.2.5各种熵之间的关系20平均互信息与各类熵的关系熵只是平均不确定性的描述;不确定性的消除(两熵之差)才等于接收端所获得的信息量。获得的信息量不应该和不确定性混为一谈21维拉图H(X

13、Y)H(X)H(Y)H(XY)H(Y

14、X)I(X;Y)联合熵22小结第二章—4小结回顾信源熵的定义、条件熵的定义、联合熵的定义。对习题进行讲解，进一步地加深对信源熵的理解。根据单符号离散信源的数学模型

15、，从整体的角度出发，得出平均互信息。24本次课结束！25