讲义22 - 第一章引论

《讲义22 - 第一章引论》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、《信息论》研究生课程讲义2-5平均交互信息量的特性平均交互信息量I(X,Y)在统计平均的意义上，描述了信源、信道、信宿组成的通信系统的信息传输特性。这一节将进一步讨论I(X,Y)的数学特性，重点介绍其特性的结论和其物理意义。2-5-1I(X,Y)的非负性当x为大于0的实数时，底大于1的对数logx是x的严格上凸函数，可以证明若f(x)为上凸函数，则有：f{∑pixi}≥∑pif(xi)，如f(x)=logx，则有：log{∑pixi}≥∑pilogxi根据这个关系，考虑平均交互信息量，I(X,Y)=∑∑p(xi,yj)log[p(xi,yj)/p(xi)p(y

2、j)]则：-I(X,Y)=∑∑p(xi,yj)log[p(xi)p(yj)/p(xi,yj)]≤log∑∑p(xi,yj)[p(xi)p(yj)/p(xi,yj)]=log{∑p(xi)∑p(yj)}=0所以有：I(X,Y)≥0只有当P(X,Y)=P(X)P(Y),即对于所有的i=1,2,…n,j=1,2,…m。都有：p(xi,yj)=p(xi)p(yj)，才有：I(X,Y)=0▲交互信息量可能出现负值，但平均交互信息量不可能出现负值。▲接收者收到一个Y的符号，总能从中获取道关于信源X的信息量，只有当XY相互独立时，平均交互信息量才为0。▲由I(X,Y)=H(

3、X)-H(X/Y)，可知，在信息传输过程中，后验熵不可能大于先验熵，这种特性称为后熵不增加原理。当XY相互独立时，p(xi,yj)=p(xi)p(yj)可得：H(X,Y)=H(X)+H(Y)当XY相互独立时，p(yj/xi)=p(yj)可得：H(Y/X)=H(Y)当XY相互独立时，p(xi/yj)=p(xi)可得：H(X/Y)=H(X)由交互信息量的定义可知：I(X,Y)=H(X)+H(Y)-H(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=02-5-2平均交互信息量的交互性2-33《信息论》研究生课程讲义由于p(xi,yj)=p(yj,xi)则：

4、I(X,Y)=I(Y,X)▲交互性表明在Y中含有关于X的信息，I(X,Y)；在X中含有关于Y的信息，I(Y,X)；而且两者相等。实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式。▲两个园相交的部分为平均交互信息量，可见，平均交互信息量的大小体现了X和Y的相关程度。X和Y相互独立，交互性最小，I=0；▲X和Y完全相关，交互性最大，I=H(X)=H(Y)；H(X/Y)=H(Y/X)=0，相当于信道无信息损失。[例]下列为X和Y完全相关的例子。x11y1x11y1x21y2x21y2x31y3y31y3x11y1

5、x11y1x21y2x21y2x31y3x31y3其相应的信道转移矩阵分别为：[P1]=100[P2]=100010001001010[P3]=010[P4]=001100010001100这种信道的特点是：n=m，每行只有一个元素为1，每列只有一个元素为1。其转移概率不为1，就为0。这时有：所以有：I(X,Y)=I(Y,X)=H(X)=H(Y)2-5-3平均交互信息量的极值性平均交互信息量I(X,Y)不可能超过信源熵H(X)，证明：因为H(X/Y)≥0所以有I(X,Y)=H(X)-H(X/Y)≤H(X)(作业)同样可以证明：H(Y/X)≥0所以有I(X,Y)

6、=H(Y)-H(Y/X)≤H(Y)(作业)▲疑义度、噪声熵总是大于等于0，平均交互信息量总是小于信源熵或信宿熵。▲在信道的输出端Y得到的关于输入端X的信息量不会超过信源X的平均信息量。2-33《信息论》研究生课程讲义[例2-9]扩展性无噪声信道。当信道输入一个X值，相应有几个Y值输出，且互不重合，这时条件熵（疑义度）H(X/Y)=0，且H(Y)≥H(X)。看三种这样的信道：x11/3y1x11/3y1x111/3y1x22/3y2x21y2x2y2x31y3x32/3y3x32/3y3(a)(b)(c)信道转移矩阵分别为：1/32/301/302/3010[P

7、]=000[P]=010[P]=1/302/3001000000由于其矩阵的每一列元素只有一个非零元素，所以后验概率不等于1，就等于0即：这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值I(X,Y)=H(X)。从平均意义上讲，这种信道可以把信源的信息全部传递道信宿。这种每列只有一个非0元素的信道也是一种无噪声信道，称为具有扩展性能的无噪声信道。这是在考察噪声熵H(Y/X)，设先验概率为p(x1),p(x2),p(x3)。=H(Y)-H(X)考虑到：p(y1)=p(x1)(1/3);p(y2)=p(x1)(2/3);p(y3)=p(x3);所以：H(Y/

8、X)=H(Y)-H(X)由于H(Y/X