信息论基础各章参考答案

《信息论基础各章参考答案》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、各章参考答案2．1．（1）4.17比特；（2）5.17比特；（3）1.17比特；（4）3.17比特2．2．1.42比特2．3．（1）225.6比特；（2）13.2比特2．4．（1）24.07比特；（2）31.02比特2．5．（1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3l

2、og3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡②左倾③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码

3、，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。（2）第三次称重类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.152．6．（1）log2＝15比特；（2）1比特；（3）15个问题2．7.证明：（略

4、）2．8．证明：（略）1111p(a1b1)=p(a1b2)=p(a1b3)=p(a2b1)=p(a3b1)=2．9．3，12，12，6，1p(ab)=p(ab)=p(ab)=p(ab)=2223323324。2．10．证明：（略）2．11.证明：（略）2．12.证明：（略）H(X)=H(Y)=1H(Z)=0.544H(XZ)=1.4062.13.（１），，，H(YZ)=1.406H(XYZ)=1.812，H(X/Y)=H(Y/X)=0.810H(X/Z)=0.862（２），，H(Z/X)=H(Z/Y)=0.405H(Y/Z)=0.86

5、2，，H(X/YZ)=H(Y/XZ)=0.405H(Z/XY)=0，I(X;Y)=0.188I(X;Z)=0.138I(Y;Z)=0.138（３），，，I(X;Y/Z)=0.457I(Y;Z/X)=I(X;Z/Y)=0.406，（单位均为比特／符号）1p(000)=p(011)=p(101)=p(110)=XYZXYZXYZXYZ2．14.（１）4，1p(000)=p(111)=XYZXYZ（２）2，1p(000)=p(001)=p(110)=p(111)=XYZXYZXYZXYZ（３）4H(X)=1.5H(Y)=1H(Z)=1H(YZ

6、)=22．15．（１），，，；I(X;Y)=0.5I(X;Y)=1（２）；；I(X;Y/Z)=0.5I(X;YZ)=1.5（３），（单位均为比特／符号）3I(X;Y)=0.092．16．（１）4，（２）比特／符号，1316I(X;Y)=0（３），；（４）第（３）种情况天气预报准确率高，原来的天气预报有意义。2．17.I(X;Y)=logα（１）提示：方差为０，表明随机变量是常数，设；（２）I(X;Y)=logα；α=1表明x,y独立；11p(a)=p(a)+p(a)=123I(X;Y)=log2（３）对于（ａ）有：2，2，；13p(a1

7、)=p(a2)=p(a3)=I(X;Y)=log对于（ｂ）有：3，2。2．18.证明：（略）2．19.证明：（略）2．20．证明：（略）3.1证明：（略）3.2（１）０.811比特/符号，（２）41.48＋1.58m比特（m为０的个数）（３）81.1比特／信源符号3.3证明：（略）3.4证明：（略）nn−(1−p)(1−p)H(Sn)=[(1−p)log(1−p)+plogp]=H(p)1−p1−p3.5（１）H(p)H(S)=1−p（２）3.6证明：（略）⎡53⎤⎡97⎤⎢⎥⎢⎥2=883=1616P⎢35⎥P⎢79⎥⎢⎥⎢⎥⎣88⎦

8、⎣1616⎦3.7（１），−n−nn1⎡1+21−2⎤1P=⎢⎥n[2−n2−n]−n−np=1+1−（２）2⎣1−21+2⎦,23.8151216151111211116111H(,,)+(n−1)[H(