信息论与纠错编码编码习题答案

《信息论与纠错编码编码习题答案》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章信息论基础1.71.8p(s0)=0.8p(s0)+0.5p(s2)p(s1)=0.2p(s0)+0.5p(s2)p(s2)=0.5p(s1)+0.3p(s3)p(s3)=0.5p(s1)+0.7p(s3)p(s0)+p(s1)+p(s2)+p(s3)=1p(s0)=，p(s1)=p(s2)=，p(s3)=1.9Pe=q(0)p+q(1)p=0.06(1-0.06)﹡1000﹡10=9400<9500不能1.10第2章信息的度量2.4logk2.5I(X;YZ)=I(X;Y)+I(X;Z∣Y)2.7H=0.25(Bit/符号)2.8H=0.82(Bit/符号)2.

2、10（1）（2）（3）（4）2.11（1）H(X)=log6=2.58(Bit/符号)（2）H(X)=2.36(Bit/符号)（3）I(A+B=7)=-log1/6=log6=2.585(Bit)2.12（1）I(xi)=-log1/100=log100（2）H(X)=log100.132.132.14Rt=1000/4(码字/秒)×H(U)=250×9＝2250（Bit/秒）2.15―logp=log55/44。2.16I(X;Y)=1.82(Bit/符号)2.17（1）（2）（3）2.20时，H(U)取得最大值。2.30（1）H(X)=1.69(Bit/符号)（2）

3、H(Y)=1.57(Bit/符号)(3)(4)（5）I(X;Y)=0.81(Bit/符号)第3章离散信源无失真编码3.6（1）2位（2）取码长n1=1、n1=2、n1=3、n1=3就能得到紧致码。3.13（1）H(X)=-0.9log0.9-0.1log0.1=log10-0.9log9（2）（3）3.14（1）x1→0，x2→11，x3→10（2）x1x1→01，x1x2→110，x2x1→101，x1x3→011，x3x1→010，x2x2→1111，x2x3→1110，x3x2→10013.15（1）13（2）3.16（1）当M=2i，这种情况下得到的是等长码，码

4、长为i。（2）当M=2i+1平均码长为3.17方法一：概率之和与原信源某概率相等，概率之和往上排：方法二：概率之和与原信源某概率相等，概率之和往下排：两种方法得到的码集都是最佳的。3.18（1）shannon编码，D=2消息x1x2x3x4x5x6x7x8码字00000101110001010101111011110（2）Fano编码，D=2消息x1x2x3x4x5x6x7x8码字0001001110010111011101111（3）Huffman编码，D＝3消息x1x2x3x4x5x6x7x8码字02120121110221220（4）Huffman编码，D＝4消息

5、x1x2x3x4x5x6x7x8码字203332313011103.21（1）D=2消息x1x2x3x4x5x6x7x8x9x10码字1111011000110010001101110001010100（2）D=3消息x1x2x3x4x5x6x7x8x9x10码字22212012100201001111103.22方法一：概率之和与原信源某概率相等，概率之和往上排；13方法二：概率之和与原信源某概率相等，概率之和往下排；第一种方法对实用更好3.24（1）H(X)=(1/4)log4+(3/4)log(4/3)=0.811(2）q(0)＝1/4，q(1)=3/4（3）扩展

6、信源Fano编码消息x0x0x0x1x1x0x1x1码字111110100(4)扩展信源Huffman编码D=2消息x1x1x1x1x1x0x1x0x1x0x1x1x1x0x0x0x1x0x0x0x1x0x0x0码字0101101100111111111011101111003.25（1）Shannon编码D＝2消息x1x2x3x4码字010110111(2)Huffman编码D=2，得到的编码与（1）一致（3）之所以得到这种结果，是因为消息的每个概率都可以写成D–ni的形式，取每个码字的码长分别为ni即可。第4章离散信道的信道容量4.7（1）（2）（3）（4）C=e2

7、-(3/2)（5）(6)4.8（1）（2）134.9(1)(2)α＝0.5时，I(X;Y)取得最大值(3)4.114.12（1）（2）4.14（1）（2）4.15C=0.322(Bit/码符)4.16（1）I(X;Y)=1.5(Bit/符号)（2）I(X;Z)=1.5(Bit/符号)（3）I(X;Z)和I(X;Y)二者相等第5章习题5.10（1）采用极大后验概率译码准则：y1→x1，y2→x2，y3→x1pe1＝11/24(2)信源等概分布，采用极大似然译码准则：y1→x1，y2→x2，y3→x3pe1=1/25.11译码：y1→x1，y