信息论与编码-第3讲-第2章信源及信息度量(最新).ppt

《信息论与编码-第3讲-第2章信源及信息度量(最新).ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、信息论与编码理论基础第3讲互信息量和条件互信息量主讲刘巧平延安大学物电学院练习1、设离散信源X，其概率空间为如果知道事件xi已发生，则该事件所含有的自信息定义为？2、信源模型为其中0≤p(xiyj)≤1(i=1,2,…,n;j=1,2,…,m)则联合自信息量为？3、设yj条件下，发生xi的条件概率为p(xi/yj)，那么它的条件自信息量I(xi/yj)定义为？xi已知时发生yj的条件自信息量为I(yj/xi)又定义为？4、自信息量、条件自信息量和联合自信息量之间的关系是什么？本讲主要内容：1、互信息

2、量的定义2、互信息量的三种表达式3、互信息量的物理意义4、互信息的性质5、条件互信息量的定义本讲重点：1、理解互信息量的定义及表达式2、熟悉互信息量的物理意义3、掌握互信息的性质本讲难点：互信息量的定义及三种不同表达式1、互信息量A、互信息量定义B、互信息量的单位C、互信息量的三种不同表达式D、互信息量的物理意义E、互信息量的性质【思考】当接收端收到某个消息后，能确定它是由发送端发出的某个消息得到的吗？后验概率的引入由于实际通信中存在干扰，假设接收端收到消息为yj，yj可能与xi相同，也可能不同，则

3、需要利用后验概率p(xi

4、yj)反映接收端收到消息yj而发送端发出的是xi的概率。接收端收到yj后，发送端发出的是否为xi尚存在的不确定性为确定性应为A互信息量定义在接收端收到yj后，已经消除的不确定性为先验的不确定性减去尚存在的不确定性。接收端获得的信息量【定义】对两个离散随机时间集X和Y，事件yj的出现给出关于xi的信息量，即为互信息量。【说明】互信息量I(xi;yj)是已知事件yj后所消除的关于事件xi的不确定性总结X—信源发出的离散消息集合；Y—信宿收到的离散消息集合；信源通过有干扰的信道发

5、出消息传递给信宿；信宿事先不知道某一时刻发出的是哪一个消息，所以每个消息是随机事件的一个结果；最简单的通信系统模型：信源X、信宿Y的数学模型为先验概率：信源发出消息xi的概率p(xi)。后验概率：信宿收到yj后推测信源发出xi的概率p(xi/yj)互信息量：yj对xi的互信息量定义为xi的后验概率与先验概率比值的对数。B、互信息量的单位1.与自信息量单位完全一致。2.取决于对数的底数。【通信理论中，常用的仍为以2为底的对数]举例某地二月份天气构成的信源为收到消息y1：“今天不是晴天”收到y1后：p(

6、x1/y1)=0，p(x2/y1)=1/2，p(x3/y1)=1/4，p(x4/y1)=1/4计算y1与各种天气之间的互信息量对天气x1，不必再考虑对天气x2，对天气x3,对天气x4结果表明从y1分别得到了各1比特的信息量；或者说y1使x2，x3，x4的不确定度各减少量1比特。C互信息量的三种不同表达式观察者站在输出端自信息量：对yj一无所知的情况下xi存在的不确定度；条件自信息量：已知yj的条件下xi仍然存在的不确定度；互信息量：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息

7、量。实际是从yj得到的关于xi的信息量。观察者站在输入端站在输入端观察，观察者在输入端出现xi前、后对输出端出现yj的不确定度有变化，即从xi中也可提取关于yj的信息量。观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差。观察者站在通信系统总体立场上通信前：输入随机变量X和输出随机变量Y之间没有任何关联关系，即X，Y统计独立：p(xiyj)=p(xi)p(yj)先验不确定度通信后：输入随机变量X和输出随机变量Y之间由信道的统计特性相联系，其联合概率密度：p(xiyj)=p(xi)p(yj/

8、xi)=p(yj)p(xi/yj)后验不确定度通信后的互信息量，等于前后不确定度的差这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。D互信息量的物理意义如果过把X和Y看作是信源的输出和信宿的输入，即把xi看成是信源发出的符号消息，yj看成是经过信道传输后信宿收到的符号消息，那么，由于信宿已经收到符号yj，如果yj与xi相关，则xi的条件自信息量I(xi

9、yj)必然要比它的自信息量I(xi)有所下降，这一下降的信息量就是消息符号从信源传到信宿的信息量.互信息的引出，使信

10、息流通问题进入了定量分析的范畴，为信息流通的定量测量打下了坚实的基础，把信息理论发展到了一个更深的层次，可以认为是信息论发展的又一个里程碑。2.互信息的性质A、对称性B、X和Y相互独立时互信息量为0C、互信息量可为正值或负值D、有限性A对称性I(xi;yj)=I(yj;xi)推导过程互信息量的对称性表明：两个随机事件的可能结果xi和yj之间的统计约束程度；从yj得到的关于xi的信息量I(xi;yj)与从xi得到的关于yj的信息量I(yj;xi)是一样的，只是观察的角度