昆明理工大学 信息论与编码

《昆明理工大学 信息论与编码》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、昆明理工大学津桥学院试卷（闭补考-6）ExaminationofOxbridgeCollege,KUST信息与计算科学专业2009级考试科目信息论与编码考试时间学生姓名学号班级成绩题号一二三四五六总分分数考试要求：该卷为闭卷考试，满分为100分，考试时间为2个小时，准许携带计算器。一、填空题(每空2分，共30分)。1．信息论的创始人香农，在他的光辉著作《通信的数学理论》中他把信息定义为用来消除不确定的东西2.要使一个信息传输系统最优化，就是要提高信息传输的可靠性、有效性，认证性和保密性。3．若，则H(X)的最大值为H(X)＝1bit/symbol。

2、4．设X取值于（-M,M）,即,这时微分熵Hc（x）最大值为，当均匀分布时达到。5．若为马尔可夫链，则I(X;Z

3、Y)=I(X;Z

4、Y)=0。6．信源的无失真编码是压缩冗余度的编码；信源的限失真编码是压缩熵的编码。第8页共8页7．信道按其输入与输出信号之间的关系是否是确定关系可分为有噪信道和无噪信道。8．信道编码速率R与信道容量C满足RR(D)时，则一定存在一种编码方法，使E

5、(D)≤D*（其中D*为失真标准）。二、（20分）设二元对称信道的信道矩阵为。（1）若输入为，，求，，，，？（2）求该信道的信道容量及其达到信道容量时的输入概率分布？（3）设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？解：（1）＝＝0.811bit/symbol――――――――――2分=0.98bit/symbol―――――――――――4分=0.749bit/symbol――――6分第8页共8页=0.918bit/symb

6、ol―――――――8分=－＝0.062bit/symbol―――――――――――10分(2)=0.082bit/symbol――――――――――――13分达到信道容量时的输入概率分布等概率分布即:，―15分(3)＝1bit/symbol此消息序列含有的信息量＝14000symbolx1bit/symbol=bit=1500symbol/sx0.082bit/symbol=123bit―――18分10=1230bit1230bit

7、个信源的二次扩展信源的熵？解:因为＝bit/symbol第8页共8页所以=2=3bit/symbol―――――――――――――5分四、(10分)计算下列信道容量C。1．信道矩阵。2．信道矩阵。1.bit/symbol―――――――――――――――5分2.――――――――――――――――――5分五、（15分）设有一离散信道，其信道矩阵为：，求：（1）当信源是等概率信源时，按极大似然译码准则选择译码函数，并计算其平均错误译码概率？（2）计算其信道容量？解:(1)按极大似然译码准则选择译码函数为：―――――――――――――――5分平均错误译码概率――－1

8、0分第8页共8页(2)――――――――――15分六、(20分)令DMS为:（1）求二元Huffman码，计算，并画出其树图。（2）求三元Huffman码，计算，并画出其树图。解:（1）二元Huffman码符号码字1111011000110010001101110001010100――――――――――――――――――――――――――――――5分=3.236bit/symbol=3.26―――――――――――――――――――――10分(2)三元Huffman码符号第8页共8页码字0001021012202122110111―――――――――――――――

9、―――――――――――――――15分=3.236bit/symbol=2.11――――――――――――――――――――――20分第8页共8页第8页共8页第8页共8页