《信息论》试题及答案

《《信息论》试题及答案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、期终练习一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。解：设事件A：某人是胖子；B：某人是不胖不瘦C：某人是瘦子D：某人是高血压者根据题意，可知：P（A）=0.1P（B）=0.8P（C）=0.1P（D

2、A）=0.15P（D

3、B）=0.1P（D

4、C）=0.05而“该地区的某一位高血压者是胖子”这一消息表明在D事件发生的条件下，A事件的发生，故其概率为P（A

5、D

6、）根据贝叶斯定律，可得：P（D）＝P（A）*P（D

7、A）＋P（B）*P（D

8、B）＋P（C）*P（D

9、C）＝0.1P（A

10、D）＝P（AD）/P（D）＝P（D

11、A）*P（A）/P（D）＝0.15*0.1/0.1＝0.15故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为：I（A

12、D）=-logP（A

13、D）=log（0.15）≈2.73（bit）二、设有一个马尔可夫信源，它的状态集为{S1，S2，S3}，符号集为{a1，a2，a3}，以及在某状态下发出符号集的概率是（i，k=1，2，3），如图所示（1）求图中马尔可

14、夫信源的状态极限概率并找出符号的极限概率（2）计算信源处在某一状态下输出符号的条件熵H(X

15、S=j)(j=s1，s2，s3)（3）求出马尔可夫信源熵解：（1）该信源达到平稳后，有以下关系成立：可得（2）（3）（比特/符号）三、二元对称信道的传递矩阵为（1）若P(0)=3/4，P(1)=1/4，求H（X），H（X

16、Y）和I（X；Y）（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布解：⑴==0.811(比特/符号)=0.75*0.6+0.25*0.4=0.550.75*0.4+0.25*0.6=0.450.992(比

17、特/符号)0.811+0.971-0.992=0.79(比特/符号)=0.811-0.79=0.021(比特/符号)（2）此信道为二元对称信道，所以信道容量为C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特/符号)当输入等概分布时达到信道容量四、求信道的信道容量，其中。解：这是一个准对称信道，可把信道矩阵分为：，，故当输入等概分布时达到信道容量。1五、信源（1）利用霍夫曼码编成二元变长的惟一可译码，并求其（2）利用费诺码编成二元变长的惟一可译码，并求其（3）利用香农码编成二元变长的惟一可译码，并求其(1

18、)香农编码：信源符号概率P(xi)码长li累积概率P码字x10.42000x20.230.4011x30.230.6100x40.140.81100x50.0550.911100x60.0550.9511110=0.4×2＋0.2×3＋0.2×3＋0.1×4＋0.05×5＋0.05×5＝2.9(码元/信源符号)η＝H(X)/(logr)=2.222/2.9=0.7662（2）霍夫曼编码：=0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(码元/信源符号)η＝H(X)/(logr)=0.9964(3)费诺编码

19、：=0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(码元/信源符号)η＝H(X)/(logr)=0.9964六、设有一离散信道，传递矩阵为设P(x1)=P(x2)=1/4，P(x3)=1/2，试分别按最小错误概率准则和最大似然译码准则确定译码规则，并相应的计算机平均错误概率的大小。解：（1）按最大似然译码准则F(y1)=x1F(y2)=x2F(y3)=x3P(E)=1/2(1/3+1/6)+1/4×2×(1/3+1/6)=1/2(2)联合概率矩阵为，则按最小错误概率准F(y1)=x3F(y2)=x2F(y

20、3)=x3P(E)=1/8+1/24+2/12+1/24+1/12=11/24八、一个三元对称信源接收符号为V＝{0，1，2}，其失真矩阵为（1）求Dmax和Dmin及信源的R(D)函数。（2）求出达到的正向试验信道的传递概率解：（1）因为是三元对称信源，又是等概分布，所以根据r元离散对称信源可得R（D）＝log3－Dlog2－H（D）＝log3－D－H（D）0<=D<=2/3＝0D>2/3（2）满足R（D）函数的信道其反向传递概率为根据根据贝叶斯定律，可得该信道的正向传递概率为：九、设二元码为C=[11100，01001

21、，10010，00111]（1）求此码的最小距离；（2）采用最小距离译码准则，试问接收序列10000，01100和00100应译成什么码字？（3）此码能纠正几位码元的错误？解：（1）码距如左图故dmin＝3（2）码距如右图故10000译为10010，01100译为11100，00100译为11100或0