信息论与编码课后习题答案.doc

《信息论与编码课后习题答案.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1．有一个马尔可夫信源，已知p(x1

2、x1)=2/3，p(x2

3、x1)=1/3，p(x1

4、x2)=1，p(x2

5、x2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为：1/3○○2/3(x1)1(x2)在计算信源熵之前，先用转移概率求稳定状态下二个状态x1和x2的概率p(x)和p(x)12立方程：p(x)p(xx)p(x)+p(xx)p(x)1111122=2p(x)p(x)312p(x)p(xx)p(x)+p(xx)p(x)2211222=1p(x)0p(x)312p(x)3

6、p(x)1p(x)p(x)=1得121424马尔可夫信源熵H=p(xi)p(xjxi)logp(xjxi)得H=0.689bit/符号IJ2．设有一个无记忆信源发出符号A和B，已知p(A)1.p(B)3。求：441计算该信源熵；2设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率；3又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。解：①H(X)p(xi)logp(xi)=0.812bit/符号X②发出二重符号序列消息的信源,发出

7、四种消息的概率分别为p(AA)111p(AB)13344164416p(BA)313p(BB)33944164416用费诺编码方法代码组biBB01BA102AB1103AA11132无记忆信源H(X)2H(X)1.624bit/双符号平均代码组长度B=1.687bit/双符号22H(X)R=0.963bit/码元时间2B③三重符号序列消息有8个,它们的概率分别为1p(AAA)1p(AAB)3p(BAA)3p(ABA)36464646499927p(BBA)p(BA

8、B)p(ABB)p(BBB)64646464用霍夫曼编码方法代码组bi27BBB00164BBA90(19)111036464BAB91(18)(4)11013646464ABB900100364AAB31(6)11111156464BAA30111110564ABA31(4)01110156464AAA10111005643H(X)3H(X)=2.436bit/三重符号序列B=2.469码元/三重符号序列33H(X)R==0.987bit/码元时间3B3．已知符号集合{x,x,x}为无限离散消

9、息集合，它们的出现概率分别为p(x)1，123121p(x)1p(x)1···p(x)···求：2438ii21用香农编码方法写出各个符号消息的码字（代码组）；2计算码字的平均信息传输速率；3计算信源编码效率。解:①代码组xip(xi)Pa(xj)logpa(xj)bi01101x12221011x24233110x11+13824x1111ii111…110(i-1个1)ii++…+224i122②H(X)p(xi)logp(xi)=2bit/符号IbPib

10、i=2码元/符号IH(x)R1bit/码元时间b③二进制信道C=1bit/码元时间R信源编码的编码效率==100%C4．已知一个信源包含八个符号消息,它们的概率分布如下表，求：ABCDEFGH0.10.180.40.050.060.10.070.04①对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率。解:①H(X)p(x)logp(x)=2552bit/符号,时间熵Ht2.552bit/sXR=H2.552bit/stt②霍夫曼编码符号p代码组biiC0.4001B0

11、.1801103A0.10(1,0)10030(0.23)1F0.1011(0.6)11114G0.071101141E0.060(0.13)110104D0.051(0.19)1110150H0.040(0.09)111005平均码长b=2.61码元/符号H(x)R0.9779bit/码元时间bR信源编码的编码效率==97.79%C3