信息论与编码样卷

《信息论与编码样卷》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、卷号：（A）（2012年6月）机密湖北师范学院期末考试试卷信息论与编码考试范围第1至6章命题人游雪肖院系数学与统计学院考试形式闭卷课程类别必修学期20121专业信息与计算科学大题号一二三四五六七八九十班级满分1212481216学号得分姓名阅卷人总分本题一、填空题（本题共_6__小题,每小题2分，共12分)得分（请将正确答案填入空格内）1．信息的___________是建立信息论的基础．2．相对熵Dpq(

2、

3、)是概率分布对(,)pq的__________（凹或凸）函数．3．离散平稳有记忆信源极限熵的定义为_

4、________________________．4．最优D进即时码的平均码长的上界为L_________．5．如果UXYV构成马氏链，则IUV(;)____IXY(;)．（“，，）226．当D时，服从正态分布N(0,)的信源在平方失真下的率失真函数RD()=______．本题二、判断题（本题共_6_小题,每小题2分，共12分)得分（请在你认为正确的题后括号内打“√”，错误的打“×”）1．某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量．（）2．当随机变量X和Y相互

5、独立时，HXY(,)HX()．（）3．有记忆信源输出符号之间是统计相关的．（）4．数字集合2,2,3,3,4,4,5,5能成为二进即时码的码字长集．（）5．信息率失真函数研究的是信道编码问题．（）6．信道容量C只与信道的统计特性有关，而与输入信源的概率分布无关．（）本题三.计算题（本题共5小题,1，２，3每小题8分，其余每小题12分，共得分48分)（要求写出主要计算步骤及结果）1．某一离散无记忆信源的符号集为0,1，已知p1/4，p3/4，求：01（1）信源符号的平均信息量；（2）由100个符

6、号构成的序列，求某一特定序列（例如有m个0和100m个1）的信息量的表达；（3）由100个符号构成的序列，计算序列熵．Acosxx2．设有一实值随机变量，其分布密度为fx()2，试求这随机变量0x取其他值的可微熵．133．已知XY,0,1,XY构成的联合概率为：p(00)p(11),(01)pp(10)，88（1）试计算HXHYXIXY(),(

7、),(;)；（2）计算以条件概率pyx(

8、)为信道转移概率的信道容量，并说明达到信道容量的最佳输入概率分布．4．二元二阶马尔科夫信源

9、的状态图如图所示，计算该信源的平稳分布及熵率．0.6000.40.50.501100.50.50.4110.6101X115．设信源111，接收符号集Y,，其失真矩阵为PX()2233312[]D11，求D、D以及RD()．maxmin21本题四、编码题（本题共_1_题,共12分)得分设信源X有以下概率分布：s1s2s3s4s5s6s7s8X0.20.10.30.20.050.050.050.05（1）试用Huffman

10、编码法将其编成三进制变长码，写出编码过程.（2）计算信源熵、平均码长和编码效率.本题五、证明题（本题共_2_小题，每小题8分，共16分)得分1．证明：HXZ(

11、)HXY(

12、)HYZ(

13、)．2．证明：对于离散平稳信源，当Hx()时，条件熵HX(XXX)随N的增1N12N1加是递减的．