信息理论与编码习题

信息理论与编码习题

ID:18380173

大小:1.41 MB

页数:20页

时间:2018-09-17

信息理论与编码习题_第1页
信息理论与编码习题_第2页
信息理论与编码习题_第3页
信息理论与编码习题_第4页
信息理论与编码习题_第5页
资源描述:

《信息理论与编码习题》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、2.7离散无记忆信源的扩展52.3每帧电视图像可看成是由310个独立变化的像素组成的,每个像素又取128个不同的亮度电平,并设亮度电平是等概出现的。问每帧图像含有多少信息量?现假设有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,(1)试问广播员描述此图像所广播的信息量是多少?(2)假设汉字字汇是等概分布的,并且彼此无依赖,试问若要恰当地描述此帧图像,广播员在口述中至少需要多少个汉字?答案:王虹解:设电视图像每个像素取128个不同的亮度点平,并设电平等概率出现,每个像素的亮度信源为Xa,a,,a12812128

2、P(ai)1P(ai)1128,1128,,1128i1得每个像素亮度含有的信息量为:H(X)log1287比特像素一帧中像素均是独立变化的,则每帧图像信源就是离散亮度信源的无记忆N次扩展信源。得每帧图像含有的信息量为N6H(X)NH(X)2.110比特每帧广播口述时,广播员是从10000个汉字字汇中选取的,假设汉字字汇是等概率分布的,则汉字字汇信源是Ybbbq1,2,qP(bj)1,q10000P(bj)1q,1q,,1qi1得该汉字字汇中每个汉字含有的信息量H(Y

3、)logqlog1000013.29比特字2广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述。所以,广播员描述此帧图像所广播的信息量为N44H(Y)NH(Y)1000log101.32910比特千字2若广播员仍从此汉字字汇信源Y中独立地选取汉字来描述电视图像,每次口述一个汉字含有N信息量是H(Y),每帧电视图像含有的信息量是H(X),则广播员口述此图像至少需用的汉字数等于N6H(X)2.11051.5810字158000字H(Y)13.292.5一副充分洗乱的牌(含52张),试问:(1)任一特定排列所给出的不确定性是多少?(2)随

4、机抽取13张牌,13张牌的点数互不相同时的不确定性是多少?解:(1)一副充分洗乱的扑克牌,共有52张,这52张牌可以按不同的一定顺序排列,可能有的不同排列状态数就是全排列种数,为67P528.0661052因为扑克牌充分洗乱,所以任一特定排列出现的概率是相等的。设事件A为任一特定排列,则其发生概率为168PA1.241052可得,任一特定排列所给出的信息量为IAlog2PAlog252225.58比特67.91哈特(1)设事件B为从中抽取13张牌,所给出的点数都不同。13扑克牌52张中抽取13张,不考虑其排列顺序,共有C种可能的组合。而扑克

5、牌中52每一种点数有4种不同的花色。而每一种花色都有13张不同的点数。13张牌中所有的点数13都不相同(不考虑其顺序)就是每种点数的花色不同,所以可能出现的状态数为4。因为13牌都是充分洗乱的,所以在这C种组合中所有的点数都不相同的事件都是等概率发生的。52所以13134413394PB1.05681013C5252则事件B发生所得到的信息量为134IBlogPBlog21313.208比特C523.976哈特2.6平均互信息及其性质2.6设随机变量X{x,x}{0,1}和Y{y,y}{0,1}的联合概率空间为1212XY(x

6、1,y1)(x1,y2)(x2,y1)(x2,y2)PXY18383818定义一个新随机变量ZXY(普通乘积)。(1)计算熵H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)以及H(XYZ);(2)计算条件熵H(X

7、Y)、H(Y

8、X)、H(X

9、Z)、H(Z

10、X)、H(Y

11、Z)、H(Z

12、Y)、H(X

13、YZ)、H(Y

14、XZ)以及H(Z

15、XY);(3)计算互信息量I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y

16、Z)、I(Y;Z

17、X)以及I(X;Z

18、Y);131解(1)px0px0,y0px0,y1882311px1p

19、x1,y0px1,y1882HXPxilogPxi1i131py0px0,y0px1,y0882311py1px0,y1px1,y1882HYpyjlogpyj1bit/symboljZXY的概率分布如下z0z1Z71P(Z)8827711H(Z)p(zk)loglog)0.544bi

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。