资源描述：
《信息论及编码第2章习题解答》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、第二章习题解答分为两部分：PartA(1-11页)：1，2，3，4，5，8，9，18，19，22，24，25，PartB(12-17页)：5（另解），6，10，11，12，20《信息论与编码》第二章习题解答3232.1A村有一半人说真话，人总说假话，人拒绝回答；B村有人诚实，一半1010102人说谎，人拒绝回答。现随机地从A村和B村抽取人，p为抽到A村人的概10率，1–p为抽到B村人的概率，问通过测试某人说话的状态平均能获得多少关于该人属于哪个村的信息？通过改变p，求出该信息的最大值。[解]用X表示随机抽取人所属的村别，Y表
2、示说话的状态，则X和Y之间的关系图如下所示。XY0.5y1说真话A0.30.3y撒谎2B0.50.20.2y3拒绝回答P(A)+P(B)=1P(y)=0.5×p(A)+0.3[1-p(A)]1P(y)=0.3×p(A)+0.5[1-p(A)]2P(y)=0.2p(A)+0.2[1-p(A)]=0.233H(Y)=-åp(yi)logp(yi)i=1H(Y
3、X)=P(A)H(Y
4、X=A)+P(B)H(Y
5、X=B)=H(0.5,0.3,0.2)=---=0.5log0.50.3log0.30.2log0.21.485bitI(X
6、;Y)=H(Y)-H(Y
7、X)由对称性，当P(A)=P(B)=0.5时，互信息最大，这时HY()=++=0.4log0.40.4log0.40.2log0.21.522bit所以IX(;Y)=H(Y)-=H(YX
8、)0.037bit2.2一个无偏骰子，抛掷一次，如果出现1，2，3，4点，则把一枚均匀硬币投掷一次，如果骰子出现5，6点，则硬币投掷二次，求硬币投掷中正面出现次数对于骰子出现点数所提供的信息？1[解]令X=x表示掷骰子出现1，2，3，4点，X=x表示出现5，6点，Y表示出现12硬币正面的次数，于是X和Y具有如下关系
9、图。XY1/2y0（无正面）x11/41/2y1（1次正面）x21/21/4y2（2次正面）P(X=x)=2/3,P(X=x)=1/312P(Y=y)=5/12,p(Y=y)=1/2,p(Y=y)=1/2012所以I(X;Y)=H(Y)-H(YX)51121=H(,,)-×H(YX=x)-H(YX=x)1212212335112111111=H(,,)-×H(,)-×H(,,)122123223424=0.158bit312.3在某中学有学生通过了考试，学生没有通过。在通过考试的同学中10%有自行44车，而没有通过的学生中5
10、0%有自行车，所有有自行车的同学都加入了联谊会，无自行车的同学中仅有40%加入联谊会。a.通过询问是否有自行车，能获得多少关于学生考试成绩的信息？b.通过询问是否参加联谊会，能获得多少关于学生成绩的信息？c.如果把学生成绩情况，自行车拥有情况和是否参加联谊会用三位二进数字传输，问每位数字携带多少信息？[解]X表示学生有无通过考试，Y表示学生有无自行车，Z表示学生有无参加联谊会，X，Y，Z之间的关系图。XYZ（通过）x0.1y1（有车）1z1（参加）10.50.40.9（没通过）x20.5y2（无车）0.6z2（没参加）2P(
11、x)=0.75，P(x)=0.2512P(y)=0.2，P(y)=0.812P(z)=0.52，P(z)=0.4812P(zx)=0.46，P(zx)=0.541121P(zx)=0.7，P(zx)=0.31222（a）I(X;Y)=H(Y)-H(YX)=H(0.2,0.8)-0.75H(0.1,0.9)-0.25H(0.5,0.5)=0.12bit（b）I(X;Z)=H(Z)-H(ZX)=HHH(0.52,0.48)--0.75(0.46,0.54)0.25(0.7,0.3)=0.03bit（c）第一位数字携带信息为H(X
12、H)==(0.75,0.25)0.811bit在已知第一位数字下，第二位数字携带信息为H(Y
13、X)=0.75H(0.1,0.9)+0.25H(0.5,0.5)=0.602bit在已知前二位数字下，第三位数字携带信息为：H(Z
14、X,Y)=H(Z
15、Y)（因为X→Y→Z）=0.2H(1)+0.8H(0.4,0.6)=0.8H(0.4,0.6)=0.777bit2.4随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一颗和第二颗骰子抛掷之和，以Z表示三颗骰子的点数之和，试求H(X
16、Y)，H(Y
17、X)，H(Z
18、X,Y)，H(X,
19、Z
20、Y)和H(Z
21、X)。[解]设第一颗骰子结果为X1，第二颗骰子结果为X2，第二颗结果为X3，则X1，X2，X3是独立同分布随机变量X=X，Y=X+X，Z=X+X+X112123X和Y的事件空间和对应概率为X123456px()1/61/61/61/61/61/63Y23456789101
