资源描述：
《第二章(2) 互信息》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第四讲互信息informationzhl@126.com邹慧兰复习概念自信息量1联合自信息量2条件自信息量3I(xi)＝-logp(xi)I(xi，yj)＝-logp(xi，yj)I(xi
2、yj)＝-logp(xi
3、yj)信源熵4条件熵5联合熵6H(X)＝-∑p(xi)logp(xi)H(X
4、Y)＝∑p(xi,yj)I(xi
5、yj)＝-∑p(xi,yj)logp(xi
6、yj)H(X,Y)=∑p(xi,yj)I(xi,yj)=－∑p(xi,yj)logp(xi,yj)2.2.3互信息1互信息定义最简单通信系统模型：X-信源发出的离散消息集合，Y-信宿收到的离散消息集合；
7、信源通过有干扰的信道发出消息传递给信宿信源X的数学模型为：信宿Y的数学模型为：信源信宿信道干扰先验概率-信源发出消息xi的概率后验概率-信宿接收到消息yj后推测信源发出xi的概率互信息：yj对xi的互信息定义为后验概率与先验概率比值的对数2例题某地二月份天气构成的信源如下：收到消息y1：“今天不是晴天”收到y1后：y1与各种天气之间的互信息：对x1：0对x2：对x3：对x4：表示从y1得到关于x2的信息量是1bit。3互信息的含义自信息量：对yj不知道的情况下，xi存在的不确定度条件自信息量：已知yj的条件下xi仍然存在的不确定度互信息：两个不确定度之差是不确定度被消
8、除的部分，也就是从yj得到的关于xi的信息量互信息的引出，使得信息流通问题可以进行定量分析4平均互信息如果将信道的发送端和接收端分别看成是两个信源，两者之间的依赖关系描述了信道的特性互信息是定量研究信息流通问题的基础，是一个随机变量，不能从整体上作为信道中信息流通的量度。4.1平均互信息的定义互信息量在联合概率空间p(xy)上的统计平均值4.2平均互信息的物理意义从接收端考虑1从发送端考虑2从通信系统总体上考虑3从接收端考虑1H(X)-X的先验不确定度。H(X
9、Y)-疑义度/损失熵,是收到Y后，对X仍然存在的不确定度，可看作是由于信道上存在干扰而损失掉的平均信息量。也
10、可看作由于干扰，接收端获得Y后还剩余的对信源符号X的不确定度。I(X,Y)-收到Y前后对X的不确定度减少的量。从Y获得的关于X的平均信息量。从发送端考虑2H(Y)-Y的不确定度。H(Y
11、X)-噪声度,当信源发出随机变量X后，对随机变量Y仍然存在的不确定度。如果信道不存在噪声，发送端和接收端应该存在确定的对应关系，发出X必能确定对应的Y,而现在不能确定对应的Y，这先验是由信道噪声引起的。I(X,Y)-发出X前后对Y的不确定度减少的量。从通信系统总体上考虑3H(XY)-联合熵,表示输入随机变量X，经信道传输到信宿，输出随机变量Y，即收发双方通信后，整个系统仍然存在的不确定
12、度。I(X,Y)-通信前后整个系统不确定度减少的量。通信前把X和Y看成两个独立的随机变量，整个系统的不确定度是X和Y的联合熵H(X)+H(Y),通信后把信道两端出现X和Y看成由信道的传递统计特性联系起来的、具有一定统计关联关系的两个随机变量，这是整个系统的后验不确定度由H(XY)描述。结论以上三种不同的角度说明，从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。1全损离散信道：X与Y相互独立，无法从Y中提取X的信息，信道噪声相当大，传输的平均信息量为0，信源发出的信息量在信道上全部损失掉了。4.3特殊信道的平均互信息I(X;Y)=
13、0H(X
14、Y)=H(X)2无干扰离散信道：Y是由X确定的一一对应的函数，已知Y就完全解除了关于X的不确定度，信道上没有噪声，信道不损失信息量。H(X
15、Y)=0I(X;Y)=H(X)4.4平均互信息的性质I(X;Y)=H(X)-H(X
16、Y)I(Y;X)=H(Y)-H(Y
17、X)=I(X;Y)证明：同理：另：4.5三个变量互信息量定义1.3个变量情况下xi与符号对(yj,zk)的互信息量I(xi;yj,zk)=log[p(xi
18、yj,zk)/p(xi)]2.条件互信息量定义I(xi;yj
19、zk)=log[p(xi
20、yj,zk)/p(xi
21、zk)]I(xi;yj,zk)=I(
22、xi;zk)＋I(xi;yj
23、zk)3.互信息量之间的关系说明：一个联合事件yjzk出现后提供的有关xi的信息量I(xi;yj,zk)等于在zk事件出现后提供的有关xi的信息量I(xi;zk)，加上在给定zk条件下出现再出现yj事件提供的有关xi的信息量I(xi;yj
24、zk)。三维联合集（X,Y,Z）的平均互信息量I(X;Y,Z)=I(X;Y)+I(X;Z
25、Y)=I(X;Z)+I(X;Y
26、Z)I(Y,Z;X)=I(Y;X)+I(Z;X
27、Y)习题已知信源接到如图所示的信道上，输入输出0.980.80.020.2x1x2y1y2求在该信道上传输的平均互信
