信息论与编码作业答案(新)超全

《信息论与编码作业答案(新)超全》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、信息论与编码作业答案（对应曹雪虹清华版教材）(谢正光，2013-06-28，于江苏南通)第一章绪论1-1、信息、消息、信号的定义是什么？三者的关系是什么？答：信息：是指各个事物运动的状态和状态变化的方式。消息：包含有信息的语言文字和图像等。信号：信号时消息的物理体现。三者关系：信息符号化为消息，消息物理化为信号。#1-2、简述一个通信系统包括的各主要功能模块及其作用。答：主要模块和其作用如下：信源：向通信系统提供消息。信宿：接收消息。信道：传递消息或说物理信号。干扰源：集中反映通信系统的干扰。密钥源：产生密钥。信源编码器：进行信源编码，把信

2、源发出的消息转换成由二进制码元（或多进制码元）的代码组。信道编码器：增加监督码元，增加检错或纠错的能力。加密编码：提高通信系统的安全性。#第二章信源与信息熵2.1一个马尔可夫信源有3个符号{}uuu1,2,3，转移概率为：puu()11

3、1=/2，puu()21

4、1=/2，puu(31

5、0)=，puu()12

6、1=/3，puu()22

7、0=，puu()32

8、2=/3，puu()13

9、1=/3，puu(23

10、2)=/3，puu()33

11、0=，画出状态图并求出各符号稳态概率。解：（1）状态转移矩阵为：çæö1/21/20÷çç÷÷p=çç1/3

12、02/3÷÷ç÷÷ç÷ççç1/32/30÷÷÷èø（2）状态图如下1/21/2u1u21/31/32/32/3u3（3）从状态图可知，满足不可约性与非周期性，所以存在稳态概率。设状态u1，u2，u3稳定后的概率分别为W1，W2、W3ìï111ïïWWWW123++=1ìï10ï233ïW1=ïïïï12ïï25ìïïWP=WïïïWWW13+=2ïïï9由í得í23计算可得íW2=ïïîWWW123++=1ïï2ïï25ïïWW23=ïï6ïï3ïïW3=ïïWWW123++=1ïïî25ïïî答：（略）#2-2由符号集{0，1}组成的二

13、阶马尔可夫链，其转移概率为：p(0

14、00)=0.8，p(0

15、11)=0.2，p(1

16、00)=0.2，p(1

17、11)=0.8，p(0

18、01)=0.5，p(0

19、10)=0.5，p(1

20、01)=0.5，p(1

21、10)=0.5。画出状态图，并计算各状态的稳态概率。解：（1）状态转移矩阵pp(0

22、00)==(00

23、00)0.8pp(0

24、01)==(10

25、01)0.5pp(0

26、11)==(10

27、11)0.2pp(0

28、10)==(00

29、10)0.5pp(1

30、00)==(01

31、00)0.2pp(1

32、01)==(11

33、01)0.5pp(1

34、11)==(11

35、

36、11)0.8pp(1

37、10)==(01

38、10)0.5æö0.80.200çç÷÷çç000.50.5÷÷çç÷÷于是可以列出转移概率矩阵：p=ç÷÷ç0.50.500÷çç÷÷ççç000.20.8÷÷÷èø（2）状态图为：（3）从状态图可知，满足不可约性与非周期性，所以存在稳态概率。设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有ìï5ìïïïW1=ï0.8WW13+=0.5W114ïïïìïWP=Wïï0.2WW13+=0.5W2ïï1ïïïïïW2=ïïïïïï7í4得í0.5WW24+=0.2W3计算得到íïï

39、åWi=1ïïïïW3=1ïïîi=1ïï0.5WW24+=0.8W4ïï7ïïïïïïïWWWW1234+++=1ïïW=5îï4ïïî14答：（略）#2-3同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”事件的自信息量；（2）“两个1同时出现”事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量；（4）两个点数之和（即2，3，…，12构成的子集）的熵或平均信息量；（5）两个点数中至少有一个是1的自信息量。解：设(xx,)表示骰子掷呈现面上的数字对，则1211111（1）pp(3,5)===

40、+===(xxp3,5)(xx5,3)´+´=1212666618Ipb(3,5)=-log((3,5))»4.17it111(2)pp(1,1)===(xx1,1)=´=126636Ipb(1,1)=-log((1,1))»5.17it(3)(xx,)无序对组合共有21种，其中相同数字的无序对有6种，每种出现的概率均为1/36，不同数字的无序对组12合共15种，每种出现的概率均为1/18。11HXX(,)=´´6log36+´´15log18»4.337bitevent/123618（4）两个点数之和（即2，3，…，12构成的子集）的概率

41、如下表所示和23456789101112组1+11+21+31+41+51+62+63+64+65+66+6合2+13+14+15+16+16+26+36+46+5情2+22+3