信息理论与编码习题new

《信息理论与编码习题new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2.7离散无记忆信源的扩展52.3每帧电视图像可看成是由310个独立变化的像素组成的，每个像素又取128个不同的亮度电平，并设亮度电平是等概出现的。问每帧图像含有多少信息量？现假设有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，（1）试问广播员描述此图像所广播的信息量是多少？（2）假设汉字字汇是等概分布的，并且彼此无依赖，试问若要恰当地描述此帧图像，广播员在口述中至少需要多少个汉字？答案：王虹解：设电视图像每个像素取128个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为Xa,a,,a12812128

2、P(ai)1P(ai)1128,1128,,1128i1得每个像素亮度含有的信息量为：H(X)log1287比特像素一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N次扩展信源。得每帧图像含有的信息量为N6H(X)NH(X)2.110比特每帧广播口述时，广播员是从10000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是Ybbbq1,2,qP(bj)1,q10000P(bj)1q,1q,,1qi1得该汉字字汇中每个汉字含有的信息量H(Y

3、)logqlog1000013.29比特字2广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述。所以，广播员描述此帧图像所广播的信息量为N44H(Y)NH(Y)1000log101.32910比特千字2若广播员仍从此汉字字汇信源Y中独立地选取汉字来描述电视图像，每次口述一个汉字含有N信息量是H(Y),每帧电视图像含有的信息量是H(X),则广播员口述此图像至少需用的汉字数等于N6H(X)2.11051.5810字158000字H(Y)13.292.5一副充分洗乱的牌（含52张），试问：（1）任一特定排列所给出的不确定性是多少？（2）随

4、机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为67P528.0661052因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。设事件A为任一特定排列，则其发生概率为168PA1.241052可得，任一特定排列所给出的信息量为IAlog2PAlog252225.58比特67.91哈特（1）设事件B为从中抽取13张牌，所给出的点数都不同。13扑克牌52张中抽取13张，不考虑其排列顺序，共有C种可能的组合。而扑克

5、牌中52每一种点数有4种不同的花色。而每一种花色都有13张不同的点数。13张牌中所有的点数13都不相同（不考虑其顺序）就是每种点数的花色不同，所以可能出现的状态数为4。因为13牌都是充分洗乱的，所以在这C种组合中所有的点数都不相同的事件都是等概率发生的。52所以13134413394PB1.05681013C5252则事件B发生所得到的信息量为134IBlogPBlog21313.208比特C523.976哈特2.6平均互信息及其性质2.6设随机变量X{x,x}{0,1}和Y{y,y}{0,1}的联合概率空间为1212XY(x

6、1,y1)(x1,y2)(x2,y1)(x2,y2)PXY18383818定义一个新随机变量ZXY（普通乘积）。（1）计算熵H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)以及H(XYZ)；（2）计算条件熵H(X

7、Y)、H(Y

8、X)、H(X

9、Z)、H(Z

10、X)、H(Y

11、Z)、H(Z

12、Y)、H(X

13、YZ)、H(Y

14、XZ)以及H(Z

15、XY)；（3）计算互信息量I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y

16、Z)、I(Y;Z

17、X)以及I(X;Z

18、Y)；131解（1）px0px0,y0px0,y1882311px1p

19、x1,y0px1,y1882HXPxilogPxi1i131py0px0,y0px1,y0882311py1px0,y1px1,y1882HYpyjlogpyj1bit/symboljZXY的概率分布如下z0z1Z71P(Z)8827711H(Z)p(zk)loglog)0.544bi