信息理论与编码试卷

《信息理论与编码试卷》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息理论与编码试卷Ａ答案一、填空题(每空２分，共２0分)１．设Ｘ的取值受限于有限区间［a,b］，则X服从均匀分布时，其熵达到最大；如X的均值为，方差受限为，则X服从高斯分布时，其熵达到最大。2．信息论不等式：对于任意实数，有，当且仅当时等式成立。3．设信源为X={0，1}，P（0）=1/8，则信源的熵为比特/符号，如信源发出由m个“0”和（100-m）个“1”构成的序列，序列的自信息量为比特/符号。4．离散对称信道输入等概率时，输出为等概分布。5．根据码字所含的码元的个数，编码可分为定长编码和变长

2、编码。6．设DMS为，用二元符号表对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率0.747,0.253。二、简答题（30分）１．设信源为，试求（1）信源的熵、信息含量效率以及冗余度；（2）求二次扩展信源的概率空间和熵。解：（1）（2）二次扩展信源的概率空间为：XX1/163/163/169/16１．什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为，则它们的分别信道容量为多少？答：将H（X

3、Y）称为信道的疑义度或损失熵，损失

4、熵为零的信道就是无损信道，信道容量为logr。将H（Y

5、X）称为信道的噪声熵，噪声熵为零的信道就是确定信道，信道容量为logs。２．信源编码的和信道编码的目的是什么？答：信源编码的作用：（1）符号变换：使信源的输出符号与信道的输入符号相匹配；（2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于100%。信道编码的作用：降低平均差错率。３．什么是香农容量公式？为保证足够大的信道容量，可采用哪两种方法？答：香农信道容量公式：，B为白噪声的频带限制，为常数，输入X（t）的平均功率受限

6、于。由此，为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。４．什么是限失真信源编码？答：有失真信源编码的中心任务：在允许的失真范围内把编码的信息率压缩到最小。三、综合题（20+15+15）１．设随机变量和的联合概率空间为定义一个新的随机变量(普通乘积)（1）计算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）；（2）计算条件熵H（X

7、Y），H（Y

8、X），H（X

9、Z），H（Z

10、X），H（Y

11、Z），H（Z

12、Y），H（X

13、YZ），H（Y

14、XZ）以及H（Z

15、

16、XY）；（3）计算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y

17、Z），I（Y；Z

18、X）以及I（X：，Z

19、Y）。解：（1）XY0101/83/81/213/81/81/21/21/2（2）XZ0101/201/213/81/81/27/81/8YZ0101/201/213/81/81/27/81/8(3)１．设二元对称信道的输入概率分布分别为，转移矩阵为，（１）求信道的输入熵，输出熵，平均互信息量；（２）求信道容量和最佳输入分布；（３）求信道剩余度。解：（1）信道的输入熵

20、；（2）最佳输入分布为，此时信道的容量为(3)信道的剩余度：１．设有ＤＭＣ，其转移矩阵为，若信道输入概率为，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。解：最佳译码规则：，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：，平均差错率为1-1/4-1/8-1/8=1/2。