资源描述：
《答案~信息论与编码练习》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈
2、0.8586bit/symbol得最大信息传输速率为：Rt≈1500符号/秒×0.8586比特/符号≈1287.9比特/秒≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10×Rt≈1.288×104比特可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？3、已知随即变量X和Y的联合分布如下所示：YX0101/83/813/
3、81/8试计算：H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、I（X；Y）解：(1)(2)(3)H（X/Y）=H（XY）--H（Y）=1.811-1=0.811(4)H（Y/X）=H（XY）--H（X）=1.811-1=0.811(5)4、有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1,2,3，……，38数字标示，其中有2份涂绿色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。（1）若仅对颜色感兴趣，计算平均不确定度；（2）若对颜色和数字都感兴趣，计算平均不确定度；（3）如果颜色已知，计算条件熵。解：(1)H(色)=(2)P(色数
4、)=H(色数)=(3)H(数/色)=H(色数)-H(色)=5、在一个二进制信道中，信源消息集X={0,1}，且P(0)=P(1),信宿的消息集Y={0,1},信道传输概率P（1/2）=1/4,P(0/1)=1/8。求：（1）在接收端收到y=0后，所提供的关于传输消息X的平均条件互信息量I(X；y=0).(2)该情况所能提供的平均互信息量I(X;Y).解：(1)P(ij)=P(i/j)=(2)方法1:=6某一无记忆信源的符号集为{0,1}，已知p0=1/4,p1=3/4(1)求符号的平均熵（2）由100个符号构成的序列，求某一特定序列（例如有m个“0”和（100
5、-m）个“1”））的自信息量的表达式。（3）计算（2）中的序列的熵。解：(1)H(X)=(2)=(3)7、一阶马氏链信源有三个符号{u1,u2,u3},转移概率为：P(u1/u2)=1/2,P(u2/u2)=1/2,P(u3/u1)=0,P(u1/u2)=1/3,P(u2/u2)=0,P(u3/u2)=2/3,P(u1/u3)=1/3,P(u2/u3)=2/3,P(u3/u3)=0,画出状态图并求出各符号稳定概率。解：P(j/i)=解方程组求得W=1/2S11/31/31/22/3S3S22/38、设有一信源，它在开始时以p(a)=0.6,p(b)=0.3,p
6、(c)=0.1的概率发出X1，如果X1为a时则X2为a,b,c的概率为1/3;如果X1为b时则X2为a,b,c的概率为1/3;如果X1为c时则X2为a,b的概率为1/2，而为c的概率是0;而且后面发出Xi的概率只与Xi-1有关。又p(Xi/Xi-1)=p(X2/X1),i≥3。试利用马儿可夫信源的图示法画出状态转移图，并求出状态转移矩阵和信源熵H∞P(j/i)=解方程组得到W1=,W2=,W3=9某信源符号有8个符号{u1,…u8},概率分别是1/2，1/4，1/8.，1/16，1/32,1/64,1/128,1/128，编成这样的码：000,001,010,
7、011,100,101,110,111。求（1）信源的符号熵H(U)(2)出现一个“1”或一个“0”的概率；（3）这样码的编码效率；（4）相应的香农码和费诺玛；（5）该码的编码效率？解：(1)H(U)=(2)每个信源使用3个二进制符号,出现0的次数为出现1的次数为P(0)=P(1)=(3)(4)相应的香农编码信源符号xi符号概率pi累加概率Pi-Logp(xi)码长Ki码字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/12
8、80.984771111110x81/
