信息论试卷三

《信息论试卷三》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、一、填空题（每空2分，共2×10分）1.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是______。2.____提高通信的有效性，_____目的是提高通信的可靠性，___编码的目的是保证通信的安全性。3.信源编码的目的是提高通信的，信道编码的目的是提高通信的，加密编码的目的是保证通信的。4.设信源X包含8个不同离散消息，当且仅当X中各个消息出现的概率为____时，信源熵达到最大值，为_______。5.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越____。二、判断

2、题（每个2分，共10分）1.设C={000000,001011,010110,011101,100111,101100,110001,111010}是一个二元线性分组码，则该码最多能检测出3个随机错误。（）2.DMC信道转移概率矩阵为，则此信道在其输入端的信源分布为P(X)={1/2,1/2}时传输的信息量达到最大值。（）3.离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。（）4.非奇异的定长码一定是唯一可译码。（）5.信息率失真函数R(D)是在平均失真不超过给定失真限度D的条

3、件下，信息率容许压缩的最小值。（）三、简答题（每道5分，共20分）1.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。2.解释无失真变长信源编码定理。3.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？4.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？四、计算题（21+14+15）1.设随机变量和的联合概率空间为定义一个新的随机变量(普通乘积)（1）计算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）；

4、（2）计算条件熵H（X

5、Y），H（Y

6、X），H（X

7、Z），H（Z

8、X），H（Y

9、Z），H（Z

10、Y），H（X

11、YZ），H（Y

12、XZ）以及H（Z

13、XY）；（3）计算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y

14、Z），I（Y；Z

15、X）以及I（X：，Z

16、Y）。2.设一个离散无记忆信源的概率空间为，它们通过干扰信道，信道矩阵为。信道输出符号集，试计算：（1）信源X的信息熵；（2分）（2）收到信息y2后，获得关于x1的信息量；（2分）（3）共熵H(XY)；（2分）（4）信道疑义度H(X

17、

18、Y);(2分)（5）收到消息Y后获得的关于信源X的平均信息量。（2分）3．信源空间为，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。