信息论考试试题集.doc

《信息论考试试题集.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、1、自信息量的公式为（）。2、连续信源输出信号的峰值功率受限时，（均匀）分布的熵最大；连续信源输出信号的平均功率受限时，（正态）分布的熵最大。3、当X和Y相互独立时，互信息为（0）。A、1B、0C、某一个正数4、信源为X，信宿为Y，条件熵H（X

2、Y）称为（信道损失熵）。5、信道编码定理：对于一个离散无记忆信道，若其信道容量为C，输入信源符号长度为L，当信息传输速率（R〈C）时，总可以找到一种编码方法，当L足够长时，译码的错误概率为任意小正数。1．已知X，Y∈{0，1}，XY构成的联合概率为：P（00）=

3、P（11）=，P（01）=P（10）=，(),计算：（1）熵H（X），H（Y）；（2）条件熵H（X/Y），H（Y/X）；（3）互信息I（X；Y）。解：1)p(x=0)=p(x=1)=p(y=0)=p(y=1)=0.5H(X)=H(Y)=1(6分)2)H(XY)=H(X)+H(Y

4、X)=H(Y)+H(X

5、Y)(6分)H(XY)=-2()=1.8113H(Y

6、X)=H(X

7、Y)=1.8113-1=0.8113(8分)3)I(X;Y)=H(X)-H(X

8、Y)=H(Y)-H(Y

9、X)=H(X)+H(Y)-H(X

10、Y)=2-1.8113=0.1887(5分2.求下列信道的信道容量和最佳分布。()该信道为对称信道，最佳分布是等概率分布p(X)={}(6分)信道容量：C=(9分)1.某连续信道的带宽为8kHz，信噪比为3∶1，现在要以R=比特/秒以速度传输信息，能否实现？如果要实现信息传输，信噪比的最小值为多少？(212.5=5792.6)解：香农定理：(8分)这时通信传输不能实现。SNR最小值为5791.6(2分)2．投掷一个正常的硬币直到正面出现为止，令变量X表示投掷次数。求：1列出随机变量X的概率分布；计算熵H

11、(X)。1）2）H（X）=2(10分)1条件自信息量的公式为（）。2离散无记忆信源输出n个不同的消息符号，当信源呈等概率分布情况下，信源熵取最大值，且为H（X）=（）。3、平均互信息I（X；Y）是输入信源概率分布{p(ai),i=1,2,…,n}的（C）。A、非凸函数B、下凸函数C、上凸函数4、I（X；Y）=H（X）+H（Y）-H（XY），说明信道两端随机变量X和Y之间的平均互信息量等于通信前、后整个系统不确定度（A减小）的量。5、当（B）条件，传递最大互信息称之为信道容量。A、固定信源特性，改变信道特

12、性B、改变信源特性，固定信道特性C、信源特性和信道特性都变化一、已知X，Y∈{0，1}，XY构成的联合概率为：P（00）=，P（10）=，P（01）=P（11）=，（），计算：（1）熵H（X），H（Y）；（2）联合熵H（XY），条件熵H（X/Y）；（3）互信息I（X；Y）。解：1)p(x=0)=，p(x=1)=，p(y=0)=，p(y=1)=H(X)=0.9799，H(Y)=1(6分)2)H(XY)=H(X)+H(Y

13、X)=H(Y)+H(X

14、Y)(4分)H(XY)=-()=1.9591H(X

15、Y)=1.

16、9591-1=0.9591(4分)3)I(X;Y)=H(X)-H(X

17、Y)=H(Y)-H(Y

18、X)=H(X)+H(Y)-H(XY)=0.9799-0.9591=0.0208(5二、求下列信道的信道容量和最佳分布。()该信道为对称信道，最佳分布是等概率分布p(X)={}(6分)信道容量：三、设电话信号的信息率为比特/秒，在一个噪声功率谱为、限频W、限输入功率P的高斯信道中传送。1）若W=4kHz，问无差错传输所需的最小功率P是多少瓦？(214=16384)2）若W趋于无穷大时，则P是多少瓦？(ln2=0.

19、6931)解：香农定理：(4分)1）R