资源描述：
《信息论与编码习题解答（待校200812）》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、（有•问题请更正并通知xiezg@ntu・edu.cn）第二章信息的度量1.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但更量仅有微小差片的假珠换掉1颗。（1）一人随手取出3颗，经测量恰好找岀了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。解：（1）从240颗珠子中取3颗，含1颗假珠的概率为/=-log2P=log280=6.32(bit)（2）240颗屮含1颗假珠
2、，用天平等分法最多6次即可找到假珠，是必然事件，因此信息量为0o（3）按照shannon对信息量的定义，只有事件含有不确知成分，才有信息量，且不确知成分越大，信息量越大，必然事件则没有信息量。但从广义信息论来说，如果那人不知用天平二分法找假珠，另一人告Z此事，使他由不知到知，也应该含冇一定的信息屋。2.每帧电视图像可以认为是由3xl05个彖素组成，所冇象素均独立变化，H.每一彖素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播
3、员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，II彼此独立）？若要恰当地描述此图像，广播员在口述屮至少需用多少汉字？解：设电视图像每个像索取128个不同的亮度电平，并设电平等概率出现，则每个像索亮度含有的信息量为H(X)=/M28=7比特/像索—帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N次扩展信源。得每帧会图像含有的信息量为H(Xn)=NH(X)=2.lxlO6比特/每帧广播口述吋，广播员是从10000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇屮每个汉字含有的信息最H(Y)=IbiOOO
4、=13.29比特/字广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述的。所以，广播员描述此帧图像所广播的信息量为H(Yn)=NH(Y)=1000/&104二1.329X1()4比特/千字若广播员仍从此汉字字汇信源Y中独立地选取汉字來描述电视图像，每次口述一个汉字含冇信息量是H(Y),的汉字数等于每帧电视图像含冇的信息量是H(XN),则广播员口述此图像至少需要H(Xn)H(Y)'71xin6==1.58x10^=158000字13.291.已知X：1,0P(X)：p,-p(1)求证：H(X)=H(p)(2)求H(p)并作
5、其曲线，解释其含义。(1)证明H(X)=p/(l)+(l—”)/(0)=-plbp-(1-p)lb(-p)=H(p)该H(p)曲线说明，当0与1等概出现时，即p二0.5时，惭最大。当p由0.5分别趋向于0和1时，爛逐渐减小至0。2.证明/7(X3
6、X
7、X2)WH(X2
8、XJ,并说明等式成立的条件。证明：设离散平稳信源输出的随机符号序列为...X1,X2,X3,.・.。又设XjGX],x2GX2,%3€X3,而且兀1，兀2，兀3都収自于同i符号集A=…,dj，并满足有工卩(兀2丨州)=1，工戶(兀3I勺)=1，工戶(兀3I兀1兀2)=1，
9、X?X3X、工戶3)=工戶也)=工卩也)"XX2X3工工P(牡)=工工P(g)=工工P(W.J=1X]X2X2X3X{X3工工工P0W3)iXX2X3^P(x1x2x3)=P(x2x3)X^P(x1x2x3)=P(xIx3)X分工P(W2“)=P(W2)X3在区域［0,1］内设f(x)=-xlogx,f(x)在［0,1］内是n型凸函数，所以满足詹森不等式£/=i/=!/=1i=l现今兀=P(x3Ix2x{),设其概率空间为P(坷
10、兀2)，并满足工Pgl^2)=1X所以根据詹森不等式得工P(X]
11、兀2)[-兀
12、logxjv-[工戶(西
13、兀2)兀]log[工P(X
14、
15、兀2)兀]X】X]X
16、-》P(X]
17、X2)P(X3IX1X2)logP(X3IXYX2)X]5-工P(KI兀2屮(兀3IW2)bg》P(X
18、I兀2)戶(兀3IW2)X
19、X
20、所以^P(x1x2x3)=P(x2x3)工P(“3IX2)P(X2)=P(x3IX2)P(X2)Xi上式对所冇西,兀,心的収值都成立，所以工P(兀丿31兀2)=戶(兀3丨兀2)X、工P(x,Ix2)P(x31x}x2)=P(x31X2)X
21、所以-工P(“3IQlOgPgIX1X2)~P(X3IX2)10gP(X3I
22、X2)X
23、因为0
