信息论与编码理论-习题答案_姜楠_王

《信息论与编码理论-习题答案_姜楠_王》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信息的统计度量2.1少2.2y的出现有助于肯定x的出现、y的出现有助于否定x的出现、x和y相互独立2.3FTTTF2.42.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为，由于每枚硬币被取出的概率是相同的，所以所需要的信息量二是确定它比其他硬币是重还是轻，设其发生的概率为，则总的概率所需要的信息量2.6设表示“大学生”这一事件，表示“身高1.60m以上”这一事件，则故2.7四进制波形所含的信息量为，八进制波形所含信息量为，故四进制波形所含信息量为二进制的2倍

2、，八进制波形所含信息量为二进制的3倍。2.8故以3为底的信息单位是比特的1.585倍。2.1（1）J、Z（2）E（3）X2.2（1）两粒骰子向上面的小圆点数之和为3时有(1,2)和(2,1)两种可能性，总的组合数为，则圆点数之和为3出现的概率为故包含的信息量为（2）小圆点数之和为7的情况有(1,6),(6,1),(2,5),(5,2),(3,4),(4,3)，则圆点数之和为7出现的概率为故包含的信息量为2.3对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为平均每个回答中含有的信息量为对

3、于女性，是红绿色盲的概率记作，不是红绿色盲的概率记作，则平均每个回答中含有的信息量为所以2.4天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为，12个球中的不等重球（可较轻，也可较重）的不确定性为：，因为,所以3次测量可以找出该球。2.1（1）当最后3场比赛麦克胜的次数比大卫多时，麦克最终才能胜，因此同理麦克最终比赛结果的熵为因为胜、负、平这3种结果接近等概，所以该随机变量的熵接近最大熵。（2）假定大卫最后3场比赛全部获胜，那么麦克也必须全部获胜最后3场比赛最终才能得平，否则就是负。麦克3场比赛全部获

4、胜的可能性是，因此在假定大卫最后3场比赛全部获胜的情况下麦克的最终比赛结果的条件熵是2.2（1）假定一个家庭里有个女孩，1个男孩，相应的概率是，因此女孩的平均数是，女孩的平均数和男孩的平均数相等。（2）2.3（1）根据题意，可以得到：①②由式②可以得到：③将式③代入式②得到：④由于的取值必须在0到1之间，由式③和式④可以得到的取值范围在0.9到0.95之间。(2)就业情况的熵为它在的取值范围内的曲线如图所示。（3）当时，达到最大值，这时，。2.1假设表示当地的实际天气情况，表示气象台预报的天气情况，表示总是预报不下雨

5、的天气情况。，可见气象台预报的确实不好。但是如果总是预报不下雨的话则会更糟，因为和是相互独立的两个随机变量，即，所以因此气象台的预报准确率虽然比总是预报不下雨低，但还是传递了一些信息，消除了一些不确定性。2.2由互信息量的定义因为，则有同理，因为，则有2.1（1）根据熵的极值性，当随机变量等概分布时，随机变量的熵最大。有7个可能取值的随机变量的最大熵为，随机变量不是等概分布，所以。（2）根据熵的递增性，。（3）（4）因为随机变量是的函数，所以2.2假定为最大的概率。根据熵函数的性质，如果，则熵小于2；如果，则只有一种

6、可能：。如果，则有无数个解，其中之一为；如果，则没有解。2.32.1第3章离散信源3.1p(x2)3.253.313.423.5（1）87.81bit（2）1.95bit3.6Hmax(X)=13.7（1）消息符合的平均熵（2）自信息量为（3）（2）中的熵为3.8因为边沿分布条件分布概率如下：01209/111/8012/113/42/9201/87/9所以信息熵：条件熵：联合熵：或可知解释：（1）信源的条件熵比信源熵少这是由符号之间的相互依存性造成的。（2）联合熵表示平均每两个信源符号所携带的信息量。平均每一个信源

7、符号所携带的信息量近似为因此原因：略去了和之间的依赖性。3.1由定义，信源的熵信源的概率分布要求满足，而此题中。即各种可能发生的情况下，概率之和大于“1”。在实际情况下这是不可能发生的。3.2由题意可知，联合概率分布为XY10101/40101/421/41/4XY20101/4011/40201/2Y的分布为Y101p(y1)1/21/2Y201p(y2)1/21/2所以由于所以，第二个实验好。3.1由定义由于一阶马尔科夫信源之间的相关性，导致熵减小。3.2（1）一阶马尔可夫过程的状态转移图如图所示。一阶马尔可夫过

8、程共有3种状态，每个状态转移到其他状态的概率均为，设状态的平稳分布为，根据可得，3种状态等概率分布。一阶马尔可夫信源熵为信源剩余度为（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为二阶马尔可夫信源熵为信源剩余度为由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。3.1（1）由题中条件，该信源