资源描述：
《信息论与编码第三章课后习题答案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第三章课后习题【3.1】设信源éXùéx1x2ùêú=êúëP(x)ûë0.60.4û通过一干扰信道，接收符号为Y=[y,y]，信道传递概率如下图所示，求12（1）信源X中事件x和x分别含有的自信息；5/612x1y11/6（2）收到消息y(j=1,2)后，获得的关于x(i=1,2)的信ji3/4息量；x21/4y2（3）信源X和信源Y的信息熵；（4）信道疑义度H(X
2、Y)和噪声熵H(Y
3、X)；（5）接收到消息Y后获得的平均互信息。解：（1）信源X中事件x和x分别含有的自信息分别为：121I(x)=log
4、=-log0.6=0.737比特1P(x)11I(x)=log=-log0.4=1.32比特2P(x)2（2）根据给定的信道以及输入概率分布，可得P(y1)=åP(xi)P(y1
5、xi)=0.8XP(y2)=åP(xi)P(y2
6、xi)=0.2X所求的互信息量分别为：P(y1
7、x1)5/625I(x;y)=log=log=log=0.059比特11P(y)0.8241P(y1
8、x2)3/415I(x;y)=log=log=log=-0.093比特21P(y)0.8161P(y2
9、x1)1/65I(x;y)
10、=log=log=log=-0.263比特12P(y)0.262P(y2
11、x2)1/45I(x;y)=log=log=log=0.322比特22P(y)0.242（3）信源X以及Y的熵为：H(X)=-åP(x)logP(x)=-0.6log0.6-0.4log0.4=0.971比特/符号XH(Y)=-åP(y)logP(y)=-0.8log0.8-0.2log0.2=0.722比特/符号Y（4）信道疑义度H(X
12、Y)=-åP(x)åP(y
13、x)logP(x
14、y)XY而相关条件概率P(x
15、y)计算如下：P(
16、x1,y1)P(y1
17、x1)P(x1)0.55P(x
18、y)====11P(y)P(y)0.88113P(x
19、y)=218P(x1,y2)P(y2
20、x1)P(x1)0.6/61P(x
21、y)====12P(y)P(y)0.22221P(x
22、y)=222由此计算出信道疑义度为：é5511ùé3311ùH(X
23、Y)=-0.6log+log-0.4log+log=0.9635比特/符号êúêúë6862ûë4842û噪声熵为：H(Y
24、X)=-åP(x)P(y
25、x)logP(y
26、x)é5511ùé3311ù=-0.6
27、log+log-0.4log+logêúêúë6666ûë4444û=0.7145比特/符号（5）接收到信息Y后获得的平均互信息为：I(X;Y)=H(X)-H(X
28、Y)=0.0075比特/符号【3.2】设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字：M1=0000，M2=0101，M3=0110，M4=0011M5=1001，M6=1010，M7=1100，M8=1111试问：（1）接收到第一个数字0与M1之间的互信息；（2）接收到第二个数字也是0时，得到多少关于M1的附
29、加互信息；（3）接收到第三个数字仍为0时，又增加了多少关于M1的互信息；（4）接收到第四个数字还是0时，再增加了多少关于M1的互信息。解：1各个符号的先验概率均为8（1）根据已知条件，有P(y=0
30、M)=P(y=0
31、0000)=P(y=0
32、x=0)=p111111P(y1=0)=åP(Mi)P(0
33、Mi)=M2i因此接收到第一个数字0与M1之间的互信息为：P(y1=0
34、M1)pI(M;y=0)=log=log=1+logp比特11P(y=0)1/21（2）根据已知条件，有2P(yy=00
35、M)=P(yy=
36、00
37、0000)=p121121[22]1P(y1y2=00)=åP(Mi)P(00
38、Mi)=2p+4pp+2p=M84i因此接收到第二个数字也是0时，得到多少关于M1的互信息为：2P(y1y2=00
39、M1)pI(M;yy=00)=log=log=2+2logp比特/符号112P(yy=00)1/412得到的附加信息为：I(M;yy=00)-I(M;y=0)=1+logp比特/符号11211（3）根据已知条件，有3P(yyy=000
40、M)=P(yyy=000
41、000)=p12311231[3223]1P(
42、y1y2y3=000)=åP(Mi)P(000
43、Mi)=p+3pp+3pp+p=M88i因此接收到第三个数字也是0时，得到多少关于M1的互信息为：3P(y1y2y3=000
44、M1)pI(M;yyy=000)=log=log=3+3logp1123P(yyy=000)1/8123此时得到的附加信息为：I(M;yyy=000)-I(M;yy=00)=1+logp比特/符号1123112（4）根据已知条件，有4P(yyyy=0000
