欢迎来到天天文库
浏览记录
ID:40757313
大小:305.00 KB
页数:4页
时间:2019-08-07
《《信息论理论基础》补修复习资料》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、《信息论理论基础》补修复习资料一、判断题(每小题2分,共计20分)1.当随机变量和相互独立时,条件熵等于信源熵.()2.由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.()3.一般情况下,用变长编码得到的平均码长比定长编码大得多.()4.只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.()5.各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.()6.连续信源和离散信源的熵都具有非负性.()7.信源的消息通过信道传输后的误
2、差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小.()8.汉明码是一种线性分组码.()9.率失真函数的最小值是.()10.必然事件和不可能事件的自信息量都是.()答案:1、√;2、√;3、×;4、×;5、√;6、×;7、×;8、√;9、√;10、×.二、填空题(每小题5分,共计30分)1、码的检、纠错能力取决于.答案:码字的最小距离().2、信源编码的目的是;信道编码的目的是.答案:(减少)冗余,提高编码效率;提高信息传递的可靠性.3、把信息组原封不动地搬到码字前位的码就叫做 .答案:
3、系统码.4、香农信息论中的三大极限定理是、、.答案:无失真信源编码定理,信道编码定理,限失真信源编码定理.5、设信道的输入与输出随机序列分别为和,则成立的条件 .答案:信道和信源都是无记忆.6、某二元信源,其失真矩阵,则该信源的= .答案:.三、解答题(四小题共计50分)1、(12分)某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为.4(1)计算接收端的平均不确定度;(2)计算由于噪声产生的不确定度;(3)计算信道容量以及最佳入口分布.解:联合概率XY0则的概率分布为Y(1);取2为底;(2);取2为底
4、,;(3).取为底,令4=0;即,可得.所以;最佳入口分布为:.2、(12分)一阶马尔可夫信源的状态转移图如右图所示,信源的符号集为.(1)求信源平稳后的概率分布;(2)求此信源的熵;(3)近似地认为此信源为无记忆时,符号的概率分布为平稳分布.求近似信源的熵并与进行比较.解:根据状态转移图,列出转移概率距阵(1)令状态平稳后的概率分布为,则得到计算得到.(2)由齐次遍历可得.(3)符号,由最大熵定理可知存在极大值:.又,所以;当p=2/3时;0
5、所以.3、(13分)设码符号为,信源空间为,试构造一种三元紧致码.解:构造三元紧致码(三元霍夫曼码)要使短码得到充利用就必须让信源符号个数满足.信源的三元霍夫曼码如下:得信源符号s1s2s3s4s5s6s7s8三元紧致码10002202122010011.4
此文档下载收益归作者所有