信息论与编码试卷及答案2

《信息论与编码试卷及答案2》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、（119填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是_0o（3）离散平稳无记忆信源X的N次扩展信源的爛等于离散信源X的嫡的N倍。（4）对于离散无记忆信源，当信源炳冇最大值时，满足条件为一信源符号等概分布（5）若一离散无记忆信源的信源癇H（X）等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少为3o（6）対于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是o（7）已知某线性分组码的最小汉明距离为3,那么这组码戢多

2、能检测出个码元错误，最多能纠正_个码元错误。（8）设有一离散无记忆平稳信道，其信道容量为C,只要待传送的信息传输率R—小丁〔C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错课概率不仅与信道本身的统计特性有关，还与和—编码方法有关二、（99判断题（1）信息就是一•种消息。（x）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的冇效性和可靠性。（7）（3）概率大的事件自信息量大。（x）（4）互信息量可正、可负亦可为零。（7）

3、（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。（x）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（V）(7)非奇界码一定是唯一可译码，唯一可译码不一定是非奇界码。(x)(8)信源变长编码的核心问题是寻找紧致码(或最住码)，崔夫曼编码方法构造的是最佳码。(7)(9)信息率失真函数R(D)是关于平均失真度D的上凸函数.(x)三、(5‘)居住在某地区的女孩中有25%是大学生，在女人学生中有75%是身高1.6米以上的,而女孩屮身高1.6米以上的占

4、总数的一半。假如我们得知“身高1.6米以上的某女孩是大学主”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，贝IJP(A)二0.25p(B)=0.5p(B

5、A)二0.75(2分)故p(A

6、B)=p(AB)/p(B)=p(A)p(B

7、A)/p(B)=0.75*0.25/0.5=0.375(2分)I(A

8、B)=-log0.375=1.42bit(1分)四、(59证明：平均互信息量同信息爛之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：/(X；Y

9、)二工»心儿)1(XY卩付儿)-工2p^y＞）10§/心）--工Yp&yJsgpk

10、儿）（2分）XYXYH（X）-H（XF）同理I(XY)=H(Y)-H(YX)(1分)则H（Yx]=H（Y）-I（X;Y）因为H（XY）=H（X）+H（Y

11、X）（1分）故H（XF）=H（X）+H（y）_/（X；y）即/（X;Y）=H（X）+H（Y）—H（XY）（1分）五、（18，）.黑白气象传真图的消息只冇黑色和白色两种，求：1）黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数

12、学模型。假设图上黑口消息出现前后没有关联，求爛H（X）；2）假设黑白消息出现前示有关联，其依赖关系为略/白）79,戸（黑/白）=0.1P（黑f黑）=0.8,求其炳hJx）。3）分别求上述两种信源的兀余度，比较它们的人小并说明其物理意义。解：1）信源模型为黑勺二白］（1分）0.30.7■■2H（X）=-工P佝）log2^）=0.881加/符号（2分）2-12）山题意可知该信源为一阶马尔科夫信源。（2分）由（4分）（勺）“1,2£仙）+戸（勺）=1得极限状态概率（2分）22H2(X)=P^/a.)=

13、0.5533为"符号(3分)i-lE3)了2=1一H」X)lo%2=0.447（1分）（1分）丫2><说明：当信源的符号Z间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）'X■兀1兀2心兀6兀7.P(X)_0.20」90.180.170」50」0.01_六、（18，）.信源空间为曼码，计算其平均码长和编码效率（要求有编码过程）。试分别构造二元香农码和二元霍夫信源消息符号概率（坷）累加概率P,-logp(«.)码字长度1,码字

14、«10.2002323000"20.190.22.393001"30.180.392.473011(140.170.572.563100«50.150.742.743101"60.100.893.3241110fl-0.010.996.647111H10_7厶=2>(训=3.14/=!H(X)2.610.200.200.190.190.180.180.170.170.150.15亠0・10冷/0-11丄O.oi-L_7—工p(a*2.720.260.3540.20/0.260.19/0.20-°