信息论与编码原理(吕锋网上习题无答案版)

《信息论与编码原理(吕锋网上习题无答案版)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2.4同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量；(2)“两个5同时出现”这一事件的自信息量；(3)两个点数的各种组合的熵；(4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。解：(3)信源空间：X(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)P(X)1/362/362/362/362/362/36X(2,2)(2,3)(2,4)(2,5)(2,6)P(x)1/362/362/362/362/36X(3,3)(3,4)(3,5)(3,6)P(x)1/36

2、2/362/362/36X(4,4)(4,5)(4,6)P(x)1/362/362/36X(5,5)(5,6)(6,6)P(x)1/362/361/36(4)信源空间：X23456789101112P(x)1/362/363/364/365/366/365/364/363/362/361/36(5)2.11设随机变量和的联合概率空间为定义一个新随机变量（普通乘积）。（1）计算熵、、、、以及；（2）计算条件熵、、、、、、、以及；（3）计算互信息量、、、、以及；解（1）bit/symbol的概率分布如下由得由对称性

3、可得（2）Hp㏒p=-H=H-HH=H-HH=H-HH=H-HH=H-HH=H-HH=H-HH=H-HH=H-H(3)2.13.(1)求和，并判断作哪一个实验好些。(2)求，并计算作Y1和Y2两个实验比作Y1或Y2中的一个实验各可多得多少关于的信息。(3)求和，并解释它们的含义。答：（1），要求和需要先求，，已知。，要求和需要先求，，已知。由及联合概率分布与边缘概率分布的关系可得及，如表2-1所示：表2-1010101/4001/40101/411/4021/41/4201/21/21/21/21/2所以同样可

4、求出及，如表2-2所示：所以因此第二个实验好些。（2），因此要求出，和。由于、是相互独立的实验，所以。（见表2-2和表2-3）表2-2000110110100010010201/201/2表2-30001101101/40001001/40201/401/41/41/41/41/4可以看到：做和两个实验比做一个实验可多得到的信息为可以看到：做和两个实验比做一个实验可多得到的信息为（3），它表示做完实验以后，从实验可得到关于的信息量。，它表示做完实验以后，从实验可得到关于的信息量。2.161)2)3)