信息理论与编码课后答案吕锋王虹着

《信息理论与编码课后答案吕锋王虹着》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一章教材习题1.1.试述信息与知识、消息和信号之间的区别与联系，并举例说明。1.2.详述钟义信先生的信息定义体系。1.3.试查阅文献，说明信息具有哪些特征和性质？1.4.说明通信系统模型由哪几部分组成，并详细讨论每一部分的功能。1.5.试述信息论的研究内容？第二章教材习题信源模型信信源模型源模型2.1试简述信源分类以及各种信源特点。信息的描述信信息的描述息的描述2.2在非理想观察模型中，存在哪些不确定性，它们与信息有何关系？不确定性与信息不不确定性与信息确定性与信息2.3一副充分洗乱的牌（含52张），试问：（1）任一特定排列所给出的不确定性是多少

2、？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”这事件的自信息量。（2）“两个1同时出现”这事件的自信息量。（3）两个点数的各种组合（无序对）的统计平均自信息量。（4）两个点数之和（即2，3，…，12构成的子集）的熵。（5）两个点数中至少有一个是1的自信息量。2.5设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：（1）红色球和白色球各50只；（2）红色球99只，白色球1只；（3）红，

3、黄，蓝，白色各25只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。2.8大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。（1）这二个回答中各含多少信息量?（2）平均每个回答中含有多少信息量?（3）如果你问一位女同志，则答案中含有的平均信息量是多少?联合熵和条件熵联联合熵和条件熵合熵和条件熵2.9任意三个离散随机变量X、Y和Z，求证：HXYZ()−HXY()≤HXZ()−HX()。平均互信息及其性质平平均互信息及其性质均互信息及其性质2.11设随机变量X={,}{0,1

4、}xx=和Y={,yy}{0,1}=的联合概率空间为1212⎡XY⎤⎡(,xy11)(,xy12)(,xy21)(,xy22)⎤⎢⎥=⎢⎥⎣PXY⎦⎣18383818⎦定义一个新随机变量Z=XY×（普通乘积）。（1）计算熵HX()、HY()、HZ()、HXZ()、HYZ()以及HXYZ()；（2）计算条件熵HXY(

5、)、HYX(

6、)、HXZ(

7、)、HZX(

8、)、HYZ(

9、)、HZY(

10、)、HXYZ(

11、)、HYXZ(

12、)以及HZXY(

13、)；（3）计算互信息量IXY(;)、IXZ(;)、IYZ(;)、IXYZ(;

14、)、IYZX(;

15、)以及IXZY(;

16、

17、)；2.12任意三个离散随机变量X、Y和Z，求证：HXYZ()=HXZ()+HYX(

18、)−IZYX(;

19、)离散无记忆信源的扩展2.16每帧电视图像可看成是由3×105个独立变化的像素组成的，每个像素又取128个不同的亮度电平，并设亮度电平是等概出现的。（1）问每帧图像含有多少信息量？（2）现假设有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问广播员描述此图像所广播的信息量是多少？假设汉字字汇是等概分布的，并且彼此无依赖。（3）试问若要恰当地描述此帧图像，广播员在口述中至少需要多少个汉字？离散平稳信源的熵离离散平稳信源的熵散

20、平稳信源的熵2.18设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按p(0)=0.4,(1)p=0.6的概率发出符号。（1）试问这个信源是否是平稳的？2（2）试计算HX(),HX(XX)及H；312∞44（3）试计算HX()并写出X信源中可能有的所有符号。马尔可夫信源的信息熵马马尔可夫信源的信息熵尔可夫信源的信息熵2.20黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑色出现的概率为P(黑)=3.0，白色的出现概率为P(白)=7.0。（1）假设图上黑白消息出现前后没有关联，求熵H(X)（2）假设图

21、上黑白消息出现前后有关联，其依赖关系为P(白

22、白)=9.0，P(黑

23、白)=1.0，P(白

24、黑)=2.0，P(黑

25、黑)=8.0，求此一阶马尔可夫信源的熵H2(X)。（3）比较H(X)和H(X)的大小，试说明其物理意义。22.22设有一个马尔科夫链的一步转移概率矩阵为012⎡qp0⎤⎢⎥q0p⎢⎥⎢⎣⎢⎣⎢⎣0qp⎥⎦⎥⎦⎥⎦试计算：（1）该马尔科夫链的二步转移概率矩阵；（2）平稳后状态"0"，"1"，"2"的极限概率。离散信源的信息率和信息含量效率离离散信源的信息率和信息含量效率散信源的信息率和信息含量效率2.23设信源为[X][x1x2]=13PX

26、44试求：（1）信源的熵、信息含量效率以及冗余度；（2）求二次和三次扩展信源的概率空间和熵。连续随机变量的熵和平均互信息量