2004信息论基础试题

《2004信息论基础试题》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、2004一填空题（本题10分，每小题1分）信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为1;1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文川2对信源的不确定性的度量，是衡量信息量大小的一个尺度；用^_來度量两事件的依赖程度，表现在通信领域就是输入和输出两事件的相互的信息量，若把它取最大值，就是通信线路的4_，若把它取最小值，就是j_；无失真压缩的理论依裾：6，限失真压缩理论依据：_7_;香农第一定理又称8编码定理，编码后的码符号信源尽可能为11，使每个码符号平均所含的信息量达到_5_，要做到无失真编码，变换每个信源符号平均所耑最少的r元码元

2、数就是信源的j_（Hr进制信息量单位测度）。二简答题（本题40分，每小题5分）1.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？2.连续信源的绝对熵多大，你想到了什么？3.用•一个实例说明你对信号、消息、信息的理解。4.写出香农公式，并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB吋求信道容量。5.解释下图阴影部分含义。6.比较信息熵和（平均）互信息两个概念的异同之处及相互关系。7.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？8.分别说明信源的概率分布和信道转移概率对平均互

3、信息的影响，说明平均互信息与信道容量的关系。139.二元无记忆信源，，⑼1摩？求:（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？（2）求100个符号构成的信源序列的嫡。10.求一一对应确定信道P1的信道容量.•Pl三计算题（本题40分，每小题10分）0010'1000000101001.黑白气象传真图的消息只有黑色和白色两种，求:1）黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息山现前后没有关联，求熵72）假设黑白消息出现前后有关联，其依赖关系为：^/&）=0.1）,,、、、）0*2，P、、、、,”、

4、、）0.8，求其摘//«•;3）比较//a?和的大小，并说明其物理含义。1.二元对称信道如图。⑼=

5、，PC0=l求"⑷和叹力;2）求该信道的信道容量和最佳输入分布。Asis24S5s6si_

6、_0.40.20.10.10.050.050.050.05■3.信源空间为试构造二元霍夫曼码，计算其平均码长和编码效率。0.90.1*4.二元对称信道的信道矩阵为I?’109J,信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问：1）试计算能否在10秒内将信源消息序列无失真传送完？2）若信源概率分布为=a7，P（1）=a3,求无失真传送以上信源消息序列

7、至少需要多长时间？2003一填空题（本题20分，每小题2分）1、“通信的基本M题就是1,这是数学家香农（ClaudeE.Shanon）在他的惊世之著《通信的数学理论》中的一句铭言。2、信息论是研究通信科学的理论工具，故称为2:1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用3对信源的不确定性的度量，是衡量信息量大小的一个尺度；表现在通信领域里，发送端发送什么有一个不确定量，通过信道传输，接收端收到信息后，对发送端发送什么仍然存在一个不确定量，我们把这两个不确定量差值用来度S，若把它取最大值，就是通信线路的j,若把它取最小值，就是j,它是限失真压缩的理论基础，它给

8、出了在指定的条件下，信源熵H（X）所能压缩的_8_,但没有给出具体的压缩方法。3、在香农第一定理里，用信源的j_来衡量信源的有效性，它是无失真压缩的理论基础,它告诉了无失真压缩的极限，同时给出具体的压缩方法是：1（）。二简答题用信息论的理论简单解释下列现象（本题20分，每小题5分）1我们知道，“猫”（凋制解调器的俗称）是在模拟链路上传输数字数裾的设备，它可以在一个音频电话线上传输二进制数据，并且没有太高的错误率。现在，我们上网用的“猫”的速度已可达到56Kbps了，但是，如果你用网络蚂蚁或其它软件从网上下载东西时，你会发现很多时候网络传输的速度都很低，远低于56Kbps（通常音频电话连

9、接支持的频率范W为300Hz到3300Hz,而一般链路典型的信噪比是30dB）（摘自中新网）2一场颠峰对决的球赛总是激情叫射，能把赛场气氛推到沸点，相反一场毫无悬念的球赛显得平淡乏味。3摘自美国国防部信息研光所研光员JacobD.Bekenstein：如果你问别人物理世界是巾什么构成的，他很可能告诉你是“物质和能量”。但只要我们学过一点工程、生物和物理的话，就知道：只给汽车厂的机器人金属和塑料，它们不可能做出任何有用的东西，只有给它们下达如何焊