资源描述:
《信息论与编码习题解答》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、(有问题请更正并通知xiezg@ntu.edu.cn)第二章信息的度量1.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠,但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。(1)一人随手取出3颗,经测量恰好找出了假珠,问这一事件大约给出了多少比特的信息量;(2)不巧假珠又滑落进去,那人找了许久却未找到,但另一人说他用天平最多6次能找出,结果确是如此,问后一事件给出多少信息量;(3)对上述结果作出解释。解:(1)从240颗珠子中取3颗,含1颗假珠的概率为2CP2391C380240IlogPlog
2、806.32(bit)22(2)240颗中含1颗假珠,用天平等分法最多6次即可找到假珠,是必然事件,因此信息量为0。(3)按照shannon对信息量的定义,只有事件含有不确知成分,才有信息量,且不确知成分越大,信息量越大,必然事件则没有信息量。但从广义信息论来说,如果那人不知用天平二分法找假珠,另一人告之此事,使他由不知到知,也应该含有一定的信息量。52.每帧电视图像可以认为是由310个象素组成,所有象素均独立变化,且每一象素又取128个不同的亮度电平,并设亮度电平等概率出现。问每帧图像含有多少信息量?如果一个
3、广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像,试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布,且彼此独立)?若要恰当地描述此图像,广播员在口述中至少需用多少汉字?解:设电视图像每个像素取128个不同的亮度电平,并设电平等概率出现,则每个像素亮度含有的信息量为H(X)lb1287比特/像素一帧中像素均是独立变化的,则每帧图像信源就是离散亮度信源的无记忆N次扩展信源。得每帧会图像含有的信息量为N6H(X)NH(X)2.110比特/每帧广播口述时,广播员是从10000个
4、汉字字汇中选取的,假设汉字字汇是等概率分布的,则汉字字汇中每个汉字含有的信息量H(Y)lb100013.29比特/字广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述的。所以,广播员描述此帧图像所广播的信息量为N44H(Y)NH(Y)1000lb101.32910比特/千字若广播员仍从此汉字字汇信源Y中独立地选取汉字来描述电视图像,每次口述一个汉字含N有信息量是H(Y),每帧电视图像含有的信息量是H(X),则广播员口述此图像至少需要的汉字数等于N6H(X)2.11051.5810
5、158000字H(Y)13.293.已知X:1,0P(X):p,1–p(1)求证:H(X)=H(p)(2)求H(p)并作其曲线,解释其含义。(1)证明H(X)pI(1)(1p)I(0)plbp(1p)lb(1p)H(p)(2)H(p)100.51p该H(p)曲线说明,当0与1等概出现时,即p=0.5时,熵最大。当p由0.5分别趋向于0和1时,熵逐渐减小至0。4.证明H(X3
6、X1X2)H(X2
7、X1),并说明等式成立的条件。证明:设离散平稳信源输出的随机符号序列为…X1,X2,X3,…。又设x
8、1X1,x2X2,x3X3,而且x1,x2,x3都取自于同一符号集Aa1,a2,,ag,并满足有P(x2
9、x1)1,P(x3
10、x2)1,P(x3
11、x1x2)1,X2X3X3P(x1)P(x2)P(x3)1X1X2X3P(x1x2)P(x2x3)P(x1x3)1X1X2X2X3X1X3P(x1x2x3)1X1X2X3P(x1x2x3)P(x2x3)X1P(x1x2x3)P(x1x3)X2P(x1x2x3)P(x1x2)X3在区域[0,1]内设
12、f(x)=-xlogx,f(x)在[0,1]内是型凸函数,所以满足詹森不等式qqqPif(xi)f(Pixi)其中Pi1i1i1i1现今xiP(x3
13、x2x1),设其概率空间为P(x1
14、x2),并满足P(x1
15、x2)1X1所以根据詹森不等式得P(x1
16、x2)[xilogxi][P(x1
17、x2)xi]log[P(x1
18、x2)xi]X1X1X1P(x1
19、x2)P(x3
20、x1x2)logP(x3
21、x1x2)X1P(x1
22、x2)P(x3
23、x1x2)logP(x1
24、x2)P(x
25、3
26、x1x2)X1X1所以P(x1x2x3)P(x2x3)X1P(x1x3
27、x2)P(x2)P(x3
28、x2)P(x2)X1上式对所有x,x,x的取值都成立,所以123P(x1x3
29、x2)P(x3
30、x2)X1P(x1
31、x2)P(x3
32、x1x2)P(x3
33、x2)X1所以P(x1x3
34、x2)logP(x3
35、x1x2)P(x3
36、x2)logP