信息与编码理论习题-2006-1211new

《信息与编码理论习题-2006-1211new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息与编码理论习题解第二章-信息量和熵2.1解:平均每个符号长为:秒每个符号的熵为比特/符号所以信息速率为比特/秒2.2解:同步信号均相同不含信息,其余认为等概,每个码字的信息量为3*2=6比特；所以信息速率为比特/秒2.3解:(a)一对骰子总点数为7的概率是所以得到的信息量为比特(b)一对骰子总点数为12的概率是所以得到的信息量为比特2.4解:(a)任一特定排列的概率为,所以给出的信息量为比特(b)从中任取13张牌,所给出的点数都不相同的概率为所以得到的信息量为比特.2.5解:易证每次出现i点的概率为,所以2.6解:可

2、能有的排列总数为没有两棵梧桐树相邻的排列数可如下图求得，YXYXYXYXYXYXYXY图中X表示白杨或白桦，它有种排法，Y表示梧桐树可以栽种的位置，它有种排法，所以共有*=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为=3.822比特2.7解:X=0表示未录取，X=1表示录取；Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得2.8解:令，则2.9&2.12解:令X=X1,Y=X1+X2,Z=X1+X2+X3,H(X1)=H(X2)=H(X3)

3、=比特H(X)=H(X1)==2.585比特H(Y)=H(X2+X3)==3.2744比特H(Z)=H(X1+X2+X3)==3.5993比特所以H(Z/Y)=H(X3)=2.585比特H(Z/X)=H(X2+X3)=3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X)=2.585-3.2744+2.585=1.8955比特H(Z/XY)=H(Z/Y)=2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805比特I(Y;Z)=H(Z)-H(Z/Y)=H(Z)-H(X3)

4、=3.5993-2.585=1.0143比特I(X;Z)=H(Z)-H(Z/X)=3.5993-3.2744=0.3249比特I(XY ;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X2+X3)-H(X3)=3.2744-2.585=0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=02.10解:设系统输出10个数字X等概,接收数字为Y,显然H(Y)=log10所以I(X;Y)=比特2.11解:（a）

5、接收前一个数字为0的概率（b）同理（c）同理（d）同理2.12解:见2.92.13解:(b)(c)（由第二基本不等式）或（由第一基本不等式）所以(a)等号成立的条件为,对所有,即在给定X条件下Y与Z相互独立。2.14解:(a)(b)注：2.15解:(a)(b)(c)2.16解:(a)又由互信息的非负性，即有，所以(b)(c)当且仅当X和Y独立时，I（X；Y）=0，所以当且仅当X和Y独立时，。2.23解:(a)(b)令(c)令2.28解:(a)由已知，（b）(c)由可求得V的分布为再由及可求得V的条件分布为第三章离散信源无

6、失真编码3.1解:长为n码字的数目为Dn,因此长为N的D元不等长码至多有：3.2解:3.3解:3.4解:3.5解:（a）二元Huffman编码（b）三元Huffman编码注意：K=10为偶数，需要添一个概率为零的虚假符号3.6解:二元Huffman编码（a）二元Huffman编码（b）（c）3.10傅P186【5.11】3.11解:3.12解:对3.13解:(a)根据唯一可译码的判断方法可知,输出二元码字为异字头码,所以它是唯一可译码。比特(b)因为信源是二元无记忆信源，所以有其中可计算每个中间数字相应的信源数字的平均长

7、度信源符号/中间数字(c)根据表有可计算每个中间数字所对应的平均长度二元码/中间数字由二元码/信源符号编码效率为0.4756/0.469=98.6%精选题1.傅P191【5.15】2.傅P192【5.16】信道及其容量作业：4.14.34.54.84.94.104.124.144.1解：(a)对称信道(b)对称信道(c)和信道(课堂教学例题)!4.3解：(a):可先假设一种分布,利用信道其容量的充要条件来计算(课堂教学例题)(b):准对称信道！4.5解：课堂教学例题4.8解：该题概率有误，应把1/32改为1/64。每个符

8、号的熵为采样频率Fs为Fs=2W=8000Hz所以信息速率R为4.9解：每象点8电平量化认为各级出现的概率相等，即H(U)=3bits所以信息速率R为4.10解：4.12解：高斯信道的信道容量为4.14解：第五章离散信道编码定理习题5.1解：DMC信道有因为所以最大后验概率译码为：。译码错误概率为：若按最大似然译码准