信息论与编码-第5讲-第2章信源及信息度量2(修改)

《信息论与编码-第5讲-第2章信源及信息度量2(修改)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、请回答：1、互信息量的三种不同表达式?2、信息熵H（X）=？3、条件熵H(X/Y)=?,H(Y/X)=?4、联合熵H(XY)=?2.1.4平均互信息量如果将信道的发送和接收端分别看成是两个“信源”，则两者之间的统计依赖关系，即信道输入和输出之间的统计依赖关系描述了信道的特性。互信息量I(xi;yj)是定量研究信息流通问题的重要基础。它是一个随机变量，不能从整体上作为信道中信息流通的测度。(1)平均互信息量的定义(2)平均互信息量的物理含义(3)平均互信息量的性质(1)平均互信息量的定义平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。称I(X;Y)是Y对X的

2、平均互信息量（简称平均互信息/平均交互信息量/交互熵）。X对Y的平均互信息定义为平均互信息的第三种定义平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一个确定的量。(2)平均互信息量的物理含义①观察者站在输出端②观察者站在输入端③观察者站在通信系统总体立场上①观察者站在输出端H(X/Y)—信道疑义度/损失熵。Y关于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。H(X)—X的先验不确定度/无条件熵。I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。②观察者站在输入端H(Y/X)—噪声熵。表示发出

3、随机变量X后，对随机变量Y仍然存在的平均不确定度。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出X后必能确定对应的Y，而现在不能完全确定对应的Y，这显然是由信道噪声所引起的。I(Y;X)—发出X前、后关于Y的先验不确定度减少的量。③观察者站在通信系统总体立场上H(XY)—联合熵。表示输入随机变量X，经信道传输到达信宿，输出随机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。I(X;Y)—通信前、后整个系统不确定度减少量。在通信前把X和Y看成两个相互独立的随机变量，整个系统的先验不确定度为X和Y的联合熵H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传

4、递统计特性联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由H(XY)描述。结论以上三种不同的角度说明：从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。举例[例2.1.5]把已知信源接到图2.1.7所示的信道上，求在该信道上传输的平均互信息量I(X;Y)，疑义度H(X/Y)，噪声熵H(Y/X)，联合熵H(XY)。解：(1)求联合概率p(xiyj)=p(xi)p(yj/xi)p(x1y1)=p(x1)p(y1/x1)=0.5×0.98=0.49p(x1y2)=p(x1)p(y2/x1)=0.5×0.02=0.01p(x2y1)

5、=p(x2)p(y1/x2)=0.5×0.20=0.10p(x2y2)=p(x2)p(y2/x2)=0.5×0.98=0.40(2)求Y的各消息概率(3)求X的各后验概率(4)求信源熵和联合熵(5)平均互信息I(X;Y)=H(X)+H(Y)-H(XY)=1+0.98-1.43=0.55比特/符号(6)疑义度(7)噪声熵(3)平均互信息量的性质①对称性②非负性③极值性④凸函数性⑤数据处理定理①对称性I(X;Y)=I(Y;X)证明：根据互信息量的对称性I(xi;yj)=I(yj;xi)结论：由Y提取到的关于X的信息量与从X中提取到的关于Y的信息量是一样的。I(X;Y)和I(Y;X)只是观察者的

6、立足点不同。自然对数性质：lnx≤x-1，x>0，当且仅当x=1时取等号。②非负性I(X;Y)≥0即I(X;Y)≥0当且仅当X和Y相互独立，即p(xiyj)=p(xi)p(yj)I(X;Y)=0式中结论：平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。或者说从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加。③极值性I(X;Y)≤H(X)I(Y;X)≤H(Y)证明：由于I(X;Y)=H(X)-H(X/Y)≥0，I(Y;X)=H(Y)-H(Y/X)≥0,H(Y

7、/X)≥0，H(X/Y)≥0,所以I(X;Y)≤H(X)，I(Y;X)≤H(Y)从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。当X和Y是一一对应关系时：I(X;Y)=H(X)，这时H(X/Y)=0。从一个事件可以充分获得关于另一个事件的信息，从平均意义上来说，代表信源的信息量可全部通过信道。当X和Y相互独立时：H(X/Y)=H(X)，I(Y;X)=0。从一个事件不能