信息论 第二章习题解答

《信息论 第二章习题解答》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章习题解答1.总人数为：300+400+500+600+200=2000人是外语学院学生的概率为：该消息提供的信息量：比特/消息。2.因为以及消息提供的信息量与其出现概率倒数的对数成正比，所以，即”现在完成一台仪器B”提供的信息量大于”现在完成一台仪器C”提供的信息量。规律：(1)出现概率为零的消息可略去。(2)概率小的消息出现时提供的信息量大于概率大的消息出现时提供的信息量。3.(1)比特/每张牌(2)出现的概率为：王出现的概率为：比特/每张牌。4.天气预报：比特/每次预报老农预报：比特/每次预报。5．解：信源熵比特/消息二元信源的最大熵比特/消息冗余度重复三次信源熵比特/消息冗余度重复

2、四次信源熵比特/消息冗余度重复四次不合理，因2比2时就不能采用最大似然法判决。6．解：先写出再根据式求各联合概率同样得求Y端概率空间的各同样得求各熵比特/每对消息比特/消息比特/消息接收可靠的依据是根据下式求,越大表示越可靠可见接收信号A最可靠7.解：求信源熵比特/消息消息/秒比特/秒如果点,划出现的概率相等时,则比特/消息消息/秒比特/秒可见信息速率反而降低了.但与理论不矛盾,因为该信源的两个消息是非同价代码(每个码元(消息)的时间长度不同),因此才有此结果。8.解:先写出根据公式计算联合熵求信宿端符号分布概率根据公式计算后验概率求各熵比特/消息比特/消息求接收熵比特/消息求接收熵速率比特/

3、秒12．试证明，并说明等式成立的条件。证明：只要证明即可原=左-右=证毕当时等式成立即当独立无关时等式成立15.解:(1)如无相关性比特/消息(2)如有相关性根据已知条件可写出有2个符号:,一阶:,状态数:个于是可以画出如下的状态转移图根据状态转移图列方程组解得计算马尔可夫信源熵比特/消息(1)二元信源最大熵为1比特/消息情况(1)的剩余度情况(2)的剩余度9.解:山农法:码字码长码元/符号求信源熵:比特/符号编码后每码元提供的信息量:比特/码元二元信源最大码元熵为1,故效率哈夫曼法：由于平均码长与山农法一样,故效率也为99%。一般情况下哈夫曼法效率高,但山农法如果每次划分概率很接近,则效率也

4、很高。11.解:根据公式:(1)信噪比为10比特/秒(2)(3)说明如果信噪比降低,则为保持信道容量不变,必须加大信道带宽。反之加大信道带宽,则可降低对信噪比的要求。17.解:（1）先写出根据公式计算联合熵根据公式计算：信宿端符号分布求各熵比特/消息比特/消息比特/消息求接收熵比特/消息求噪声熵比特/消息（2）强对称信道，令n=1,比特/秒等概分布时达信道容量。20.根据信道矩阵画出下图：先写出根据公式计算联合熵由于信道对称，可根据公式计算疑义度熵，但也可用山农的理想观察者原理计算:比特/消息比特/秒而要求的传信率为：比特/秒，大于1289比特/秒，故10秒内无法无失真传递完。21.00100

5、0000010000N=15解:编码:于是得L-D码00100101111译码:修正:故译码恢复出原序列:001000000010000