信息论》试卷(期末)(b2卷)

信息论》试卷(期末)(b2卷)

ID:19141625

大小:349.50 KB

页数:7页

时间:2018-09-27

信息论》试卷(期末)(b2卷)_第1页
信息论》试卷(期末)(b2卷)_第2页
信息论》试卷(期末)(b2卷)_第3页
信息论》试卷(期末)(b2卷)_第4页
信息论》试卷(期末)(b2卷)_第5页
资源描述:

《信息论》试卷(期末)(b2卷)》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、一、填空题(共25分,每空1分)1、连续信源的绝对熵为无穷大。(或)2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到1。3、无记忆信源是指信源先后发生的符号彼此统计独立。4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。根据信源符号的统计特性,对概率大的符号用短码,对概率小的符号用长码,这样平均码长就可以降低,从而提高有效性(传输速率或编码效率)。5、为了提高系统的有效性可以采用信源编码,为了提高系统的可靠性可以采用信道编码。6、八进制信源的最小熵为0,最大熵为3bit/符号。7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为高斯分布(或或)时

2、,信源具有最大熵,其值为0.6155hart(或1.625bit或)。8、即时码是指任一码字都不是其它码字的前缀。9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或Hr(S)或),此时编码效率为1,编码后的信息传输率为lgrbit/码元。10、一个事件发生的概率为0.125,则自信息量为3bit/符号。11、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是《信息论基础》试卷第7页信源符号概率分布的不均匀性。12、m阶马尔可夫信源的记忆长度为m+1,信源可以有qm个不同的状态。13、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为lg36=5.17比特

3、,当得知“面朝上点数之和为8”所获得的信息量为lg36/5=2.85比特。14.在下面空格中选择填入的数学符号“=,≥,≤,>”或“<”H(XY)=H(Y)+H(X∣Y)≤H(Y)+H(X)二、(5分)已知信源的概率密度函数为,计算信源的相对熵。------3分bit/自由度-------2分三、(10分)一个平均功率受限的连续信道,信道带宽为1MHz,信道噪声为高斯白噪声。(1)已知信道上的信号与噪声的平均功率比值为20,计算该信道的信道容量。(2)如果信道上的信号与噪声的平均功率比值降为10,要达到相同的信道容量,信道带宽应为多少?(3)如果信道带宽降为0.5MHz,要达到相同的信道容量,

4、信道上的信号与噪声的平均功率比值应为多少?1)------3分b/s---1分2)Hz---3分3)=440----3分四、(16分)已知信源共7个符号消息,其概率空间为《信息论基础》试卷第7页试用霍夫曼编码法编成二进制变长码。并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。要求写出详细的编码过程和计算过程。------6分位----2分bit/符号--------2分bit/码字--------2分----------2分bit/码元--------2分五、(16分)设一个离散无记忆信源的概率空间为它们通过干扰信道,信道输出端的接收符号集为Y=[b1,b2],已知信源传输概

5、率如下图所示。《信息论基础》试卷第7页试计算:(1)信源X中事件x1和x2分别含有的自信息量;(2分)(2)收到yj(j=1,2)后,获得的关于x1的信息量;(2分)(3)信源X的信息熵;(2分)(4)条件熵H(Y∣x1),H(Y∣x2);(2分)(5)共商H(XY)、信道疑义度H(X∣Y)和噪声熵H(Y∣X);(6分)(6)收到消息Y后获得的关于信源X的平均信息量。(2分)(1)I(x1)=-log0.5=1bit------1分I(x2)=-log0.5=1bit------1分(2)I(x1;y1)=lg0.831/0.5(或=lg0.98/0.59)=0.733-------1分I(x

6、1;y2)=lg0.024/0.5(或=lg0.02/0.41)=-4.38-------1分(3)H(x)=H(0.5,0.5)=1bit/符号------2分(4)H(y︱x1)=H(0.98,0.02)=0.142bit/符号-----1分H(y︱x2)=H(0.8,0.2)=0.722bit/符号-----1分(5)H(y)=H(0.59,0.41)=0.977H(xy)=H(0.49,0.01,0.1,0.4)=1.432bit/二符号------2分H(x︱y)=H(xy)-H(y)=0.455bit/符号------2分H(y︱x)=H(xy)-H(x)=1.432-1=0.43

7、2bit/符号-----2分(6)I(x;y)=H(x)+H(y)-H(xy)=0.545bit/符号------2分六、(12分)设某信道的传递矩阵为《信息论基础》试卷第7页(1)若输入符号P(x1)=P(x2)=1/4,P(x3)=1/2,求H(X∣Y)和I(X;Y)。(2)计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布。(1)-----写出公式2分H(X︱Y)=,I(X;Y)=H

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。