信息论基础试卷及详细答案

《信息论基础试卷及详细答案》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论基础模拟试题命题者:08级命题委员会小组高级顾问：韩海清一．填空题1.某随机变量集合有n个符号，其最大熵为logn（26面）2.一个线性分组码C={000000,111111}，该分组码的纠错个数为2（136面）n－1(提示：观察两个字符串不同数字的个数，设为n，则纠错个数为[]，在本题中n=6，所2以答案为2)3.I(X;Y),H(Y),H(Y

2、X)之间的关系为I(X;Y)=H(Y)-H(Y

3、X)，H(X),H(X

4、Y)之间的关系为H(X

5、Y)≤H(X)（26，27面）4.若信源符号数为q，码符号数为r，对信源符号进行编码，相应码长度为l..

6、...l，则异前1qq置码存在的充要条件是：−li1∑r≤(课本88面，Kraft定理)i=15.加性高斯白噪声（AWGN）信道实现可靠通信的信噪比的下界为-1.59db（课本173面）1226.一维高斯随机变量集的熵为log(2πeσ)（注意σ是平均方差，而σ是方差，69面）2N07.一个加性高斯白噪声（AWGN）信道的噪声的功率谱密度为，输入信号平均功率限制2P为P，信道的带宽为W，那么信道每单位时间的容量为C=Wlog(1+)(169面)NW08在BSC（二元对称信道）中，错误率为p，则其信道容量C=1-H(p)（121面）212h(X)9差熵

7、为h（X）的连续随机变量集合X的熵功率为σ=e（72面）2πed−110.一个最小距离为d的二元分组码能纠错能力为[]（参考第二题）2二．判断题1.对称信道达到容量时，输入概率和输出概率唯一。（√）（123面）⎛123⎞⎜⎟2.设试验信道输入符号{a1,a2,a3}，概率分别为1/3，1/3，1/3，失真矩阵为⎜213⎟，⎜⎟⎝321⎠则D=1,D=5/3。（√）（186面）minmax3.若（X,Y,Z）为马氏链，则（Z,Y,X）也是马氏链。（√）（60面）4.分组码的最小距离就是其最小重量的非零码字的重量。（×）（135面，应该是线性分组码）5.

8、为有效抵抗加性高斯噪声干扰，信道输入应该是高斯分布。（√）（164面）6.信道疑义度始终为正。（×）（138面，应该是非负，可以为0）7.信道输入和输出之间的平均互信息是下凸函数。（×）（29面，应该是上凸函数）8.信息处理过程中熵是不会增加的。（√）（26面）9.典型序列信源符号出现的概率近似等于其频率。（√）（86面）10.若信道的输入与输出分别为X,Y，输入符号的数目为r，那么信道疑义度满足H(X

9、Y)≤H(p)+plogr。（×）（138面，应该是r-1）EE11.一个离散平稳无记忆信道的极限熵等于最小平均熵。（√）（119面）12.对于离散

10、无记忆信道，达到容量时输入概率分布是唯一的。（×）（123面，不唯一）13.噪声功率相同的加性信道中以高斯噪声信道容量最大。（×）（应该是最小）14.R(D)函数是平均失真函数的下凸函数。（√）（187面）15.MAP准则是使译码平均错误率最小的准则。（√）（132面）16.任意两个典型序列的联合序列是典型序列。（×）17.与离散信源一样，连续信源的平均互信息也具有对称性和非负性。（√）（73面）18.通过一一变换后，连续信源的差熵一定会变化。（×）（67面，应该是可能会变化）19.转移概率矩阵不随时间变化的马氏链是平稳马氏链。（×）（47面，那是齐

11、次马氏链）20.R≥H⇔存在无失真信源编码。（√）（7面，还有几个类似的，如R≤C⇔存在译码差错任意小的信道编码；R≥R(D)⇔存在平均失真）三．计算题⎛X⎞⎛a1a2a3⎞1.给定离散无记忆信源的数学模型为⎜⎜⎟⎟=⎜⎜⎟⎟，求其二次扩展源的熵⎝P⎠⎝1/21/41/4⎠2H(X)。（40面）21111解：H(X)=2H(X)=2[−log−(log)×2]=3比特/扩展符号22442.设直流平衡序列的滑动数字为n，当n=3时写出其连接矩阵并计算其容量。(219面)⎛010⎞⎜⎟解：当n=3时，连接矩阵为D3=⎜101⎟⎜⎟⎝010⎠设D的最大特征

12、值为λ，则其容量为3maxπC(3)=logλ=log[cos]=log2=0.5比特/符号2max22(3+1)3.一个二维独立高斯信源（XX），其中X,X均值都为零，方差分别为2和4，采用均1212方失真测度，求该信源的R(D)函数。（201面）解：如果X,X都使用，有B=2D/2和B≤2，得D≤2121214122R(D)=log+log=log4D4D2D如果仅使用X，有B=2D-2和2

13、D≤2⎪R(D)=⎨(1/2)log2/(D−1),2