欢迎来到天天文库
浏览记录
ID:31305745
大小:67.72 KB
页数:12页
时间:2019-01-08
《信息论与编码第二章答案》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库。
1、第二章信息的度量2.1信源在何种分布时,嫡值最大?又在何种分布时,嫡值最小?答:信源在等概率分布时嫡值最大;信源有一个为1,其余为0时爛值最小。2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系?与p(y
2、x)又是什么关系?答:若信道给定,I(X;Y)是q(x)的上凸形函数;若信源给定,I(X;Y)是q(y
3、x)的下凸形函数。2.3爛是对信源什么物理量的度量?答:平均信息量2.4设信道输入符号集为{xl,x2,……xk},则平均每个信道输入符号所能携带的最大信息量是多少?答:H(X)=-工q(力)
4、logq(力)=-*log*=log£2.5根据平均互信息量的链规则,写出I(X;YZ)的表达式。答:/(X;YZ)=I(X;Y)+/(X;ZIY)2.6互信息量I(x;y)有时候取负值,是由于信道存在干扰或噪声的原因,这种说法对吗?答:互信息量々;y)=log如型,若互信息量取负值,即Q(xi
5、yj)6、yj)7、所引起的。2.7一个马尔可夫信源如图所示,求稳态下各状态的概率分布和信源爛。答:31卩(兀1丨$0)=了”(兀2丨必)=丁44一1?由图不可知:p(x{8、51)=-p(x19、5j)=—13P(^s2)=-p(x2s2)=-即:31〃0()丨»)=T0(山I必)=7卩(吐I必)=04421/?(必丨®)=0p(®10、5j)=-p(s211、5j)=-13P(SQS2)=-P(5,12、52)=0p($2l^2)=-可得:31P(sQ)=-p(sQ)^--p(s2)p(sj冷P(So)+*p(sJ13〃($2)=亍13、卩(山)+才卩($2)/?(»))+/心)+心)=1得:卩(S(J_4HP($2)H=一pGo)[pGoI$o)log"GoI$o)+PG1I必)logP(sI%)]-pG])[p($lIsjlogp(g14、$])+p($2"Jlogp($215、sj]-p(52)[p(5016、52)logP(5O17、52)+p(5218、52)logp(s2s2)]=0.25(bit/符号)21一2.7一个马尔可夫信源,已知:〃(力19、兀1)=亍〃(兀21兀1)=亍#(力20、兀2)=1丿(兀221、x2)=0试画出它的香农线图,并求出信源22、嫡。答:3刈)蔦朋2)p(xl)=-/?(xl)+/?(x2)p(x2)=-p(xl)■,p(xl)+p(x2)=1H=-p(x)[p(x23、%l)logp(x24、^1)+p(x21xl)logp(x2x)]一p(x2)[p(xi25、x2)logp(xl26、x2)]=0.82(/?〃/符号)2.7(1)对于离散无记忆信源DMS[*]=广勺],试证明:q(X)p-pH(X)=H2(p)=-plogp-(1-p)log(l-p)当p二1/2时,H(X)达到最大值。(2)对(1)屮的DMS,考虑它的二次扩展信27、源X⑵={UI,xI),(xI,x2),(x2,xI),(x2,x2)},证明:H(X⑵)=2H(X)证明:(1)函数H(X)"PlogP-(l-P)logd-P)中的变量p在o到1中取值,从函数的结构上可以知道该函数在区间[0,1]上是关于p=l/2对称的函数。H(xy=(-piogp-(i-p)iog(i-p)y1-pI-p1pIn2(1-/?)In2在区间[0,0.5]上l・p>p,则(l・p)/p>l,所以log上£>0,在此区间上H(Q>0,PH(x)单调递增。又该函数是在区间[0,1]上是关于p28、=l/2对称的函数,那么在区间[0.5,1]±单调递减。所以,H(X)=H2(p)=-plog/?-(1-p)log(l-p)当p=l/2时,H(X)达到最大值。⑵二次扩展后的矩阵:XXyXxx}x2x2x,x2x2lq(X)]=lp2p(l-p)p(l-p)(l-p)2H(X(2})=-p2logp2-p(1-p)logp(1-p)-p(1-/?)logp(l-p)-(l-p)2log(1-p)2=-2plogp-2(1-p)log(1_〃)=2[-plogp-(1-p)log(1一“)]=2H(X)2.29、10一副扑克牌(不用大小王),试问(1)任意特定排列给出的信息量是多少?(2)从52张牌屮抽取13张,所给出的点数都不相同时得到多少信息量?(3)从52张牌中任意抽取1张,然后放回,结果试为从DMS中取得样本,这个DMS的嫡为多少?I(xi)=—log=225.6(比特/符号)(4)若(3)中不计颜色,爛又为多少?解:(1)413(2)I(xTog(q・)二-log(—)=log(i—:)'z£4,3*13!*3
6、yj)7、所引起的。2.7一个马尔可夫信源如图所示,求稳态下各状态的概率分布和信源爛。答:31卩(兀1丨$0)=了”(兀2丨必)=丁44一1?由图不可知:p(x{8、51)=-p(x19、5j)=—13P(^s2)=-p(x2s2)=-即:31〃0()丨»)=T0(山I必)=7卩(吐I必)=04421/?(必丨®)=0p(®10、5j)=-p(s211、5j)=-13P(SQS2)=-P(5,12、52)=0p($2l^2)=-可得:31P(sQ)=-p(sQ)^--p(s2)p(sj冷P(So)+*p(sJ13〃($2)=亍13、卩(山)+才卩($2)/?(»))+/心)+心)=1得:卩(S(J_4HP($2)H=一pGo)[pGoI$o)log"GoI$o)+PG1I必)logP(sI%)]-pG])[p($lIsjlogp(g14、$])+p($2"Jlogp($215、sj]-p(52)[p(5016、52)logP(5O17、52)+p(5218、52)logp(s2s2)]=0.25(bit/符号)21一2.7一个马尔可夫信源,已知:〃(力19、兀1)=亍〃(兀21兀1)=亍#(力20、兀2)=1丿(兀221、x2)=0试画出它的香农线图,并求出信源22、嫡。答:3刈)蔦朋2)p(xl)=-/?(xl)+/?(x2)p(x2)=-p(xl)■,p(xl)+p(x2)=1H=-p(x)[p(x23、%l)logp(x24、^1)+p(x21xl)logp(x2x)]一p(x2)[p(xi25、x2)logp(xl26、x2)]=0.82(/?〃/符号)2.7(1)对于离散无记忆信源DMS[*]=广勺],试证明:q(X)p-pH(X)=H2(p)=-plogp-(1-p)log(l-p)当p二1/2时,H(X)达到最大值。(2)对(1)屮的DMS,考虑它的二次扩展信27、源X⑵={UI,xI),(xI,x2),(x2,xI),(x2,x2)},证明:H(X⑵)=2H(X)证明:(1)函数H(X)"PlogP-(l-P)logd-P)中的变量p在o到1中取值,从函数的结构上可以知道该函数在区间[0,1]上是关于p=l/2对称的函数。H(xy=(-piogp-(i-p)iog(i-p)y1-pI-p1pIn2(1-/?)In2在区间[0,0.5]上l・p>p,则(l・p)/p>l,所以log上£>0,在此区间上H(Q>0,PH(x)单调递增。又该函数是在区间[0,1]上是关于p28、=l/2对称的函数,那么在区间[0.5,1]±单调递减。所以,H(X)=H2(p)=-plog/?-(1-p)log(l-p)当p=l/2时,H(X)达到最大值。⑵二次扩展后的矩阵:XXyXxx}x2x2x,x2x2lq(X)]=lp2p(l-p)p(l-p)(l-p)2H(X(2})=-p2logp2-p(1-p)logp(1-p)-p(1-/?)logp(l-p)-(l-p)2log(1-p)2=-2plogp-2(1-p)log(1_〃)=2[-plogp-(1-p)log(1一“)]=2H(X)2.29、10一副扑克牌(不用大小王),试问(1)任意特定排列给出的信息量是多少?(2)从52张牌屮抽取13张,所给出的点数都不相同时得到多少信息量?(3)从52张牌中任意抽取1张,然后放回,结果试为从DMS中取得样本,这个DMS的嫡为多少?I(xi)=—log=225.6(比特/符号)(4)若(3)中不计颜色,爛又为多少?解:(1)413(2)I(xTog(q・)二-log(—)=log(i—:)'z£4,3*13!*3
7、所引起的。2.7一个马尔可夫信源如图所示,求稳态下各状态的概率分布和信源爛。答:31卩(兀1丨$0)=了”(兀2丨必)=丁44一1?由图不可知:p(x{8、51)=-p(x19、5j)=—13P(^s2)=-p(x2s2)=-即:31〃0()丨»)=T0(山I必)=7卩(吐I必)=04421/?(必丨®)=0p(®10、5j)=-p(s211、5j)=-13P(SQS2)=-P(5,12、52)=0p($2l^2)=-可得:31P(sQ)=-p(sQ)^--p(s2)p(sj冷P(So)+*p(sJ13〃($2)=亍13、卩(山)+才卩($2)/?(»))+/心)+心)=1得:卩(S(J_4HP($2)H=一pGo)[pGoI$o)log"GoI$o)+PG1I必)logP(sI%)]-pG])[p($lIsjlogp(g14、$])+p($2"Jlogp($215、sj]-p(52)[p(5016、52)logP(5O17、52)+p(5218、52)logp(s2s2)]=0.25(bit/符号)21一2.7一个马尔可夫信源,已知:〃(力19、兀1)=亍〃(兀21兀1)=亍#(力20、兀2)=1丿(兀221、x2)=0试画出它的香农线图,并求出信源22、嫡。答:3刈)蔦朋2)p(xl)=-/?(xl)+/?(x2)p(x2)=-p(xl)■,p(xl)+p(x2)=1H=-p(x)[p(x23、%l)logp(x24、^1)+p(x21xl)logp(x2x)]一p(x2)[p(xi25、x2)logp(xl26、x2)]=0.82(/?〃/符号)2.7(1)对于离散无记忆信源DMS[*]=广勺],试证明:q(X)p-pH(X)=H2(p)=-plogp-(1-p)log(l-p)当p二1/2时,H(X)达到最大值。(2)对(1)屮的DMS,考虑它的二次扩展信27、源X⑵={UI,xI),(xI,x2),(x2,xI),(x2,x2)},证明:H(X⑵)=2H(X)证明:(1)函数H(X)"PlogP-(l-P)logd-P)中的变量p在o到1中取值,从函数的结构上可以知道该函数在区间[0,1]上是关于p=l/2对称的函数。H(xy=(-piogp-(i-p)iog(i-p)y1-pI-p1pIn2(1-/?)In2在区间[0,0.5]上l・p>p,则(l・p)/p>l,所以log上£>0,在此区间上H(Q>0,PH(x)单调递增。又该函数是在区间[0,1]上是关于p28、=l/2对称的函数,那么在区间[0.5,1]±单调递减。所以,H(X)=H2(p)=-plog/?-(1-p)log(l-p)当p=l/2时,H(X)达到最大值。⑵二次扩展后的矩阵:XXyXxx}x2x2x,x2x2lq(X)]=lp2p(l-p)p(l-p)(l-p)2H(X(2})=-p2logp2-p(1-p)logp(1-p)-p(1-/?)logp(l-p)-(l-p)2log(1-p)2=-2plogp-2(1-p)log(1_〃)=2[-plogp-(1-p)log(1一“)]=2H(X)2.29、10一副扑克牌(不用大小王),试问(1)任意特定排列给出的信息量是多少?(2)从52张牌屮抽取13张,所给出的点数都不相同时得到多少信息量?(3)从52张牌中任意抽取1张,然后放回,结果试为从DMS中取得样本,这个DMS的嫡为多少?I(xi)=—log=225.6(比特/符号)(4)若(3)中不计颜色,爛又为多少?解:(1)413(2)I(xTog(q・)二-log(—)=log(i—:)'z£4,3*13!*3
7、所引起的。2.7一个马尔可夫信源如图所示,求稳态下各状态的概率分布和信源爛。答:31卩(兀1丨$0)=了”(兀2丨必)=丁44一1?由图不可知:p(x{
8、51)=-p(x1
9、5j)=—13P(^s2)=-p(x2s2)=-即:31〃0()丨»)=T0(山I必)=7卩(吐I必)=04421/?(必丨®)=0p(®
10、5j)=-p(s2
11、5j)=-13P(SQS2)=-P(5,
12、52)=0p($2l^2)=-可得:31P(sQ)=-p(sQ)^--p(s2)p(sj冷P(So)+*p(sJ13〃($2)=亍
13、卩(山)+才卩($2)/?(»))+/心)+心)=1得:卩(S(J_4HP($2)H=一pGo)[pGoI$o)log"GoI$o)+PG1I必)logP(sI%)]-pG])[p($lIsjlogp(g
14、$])+p($2"Jlogp($2
15、sj]-p(52)[p(50
16、52)logP(5O
17、52)+p(52
18、52)logp(s2s2)]=0.25(bit/符号)21一2.7一个马尔可夫信源,已知:〃(力
19、兀1)=亍〃(兀21兀1)=亍#(力
20、兀2)=1丿(兀2
21、x2)=0试画出它的香农线图,并求出信源
22、嫡。答:3刈)蔦朋2)p(xl)=-/?(xl)+/?(x2)p(x2)=-p(xl)■,p(xl)+p(x2)=1H=-p(x)[p(x
23、%l)logp(x
24、^1)+p(x21xl)logp(x2x)]一p(x2)[p(xi
25、x2)logp(xl
26、x2)]=0.82(/?〃/符号)2.7(1)对于离散无记忆信源DMS[*]=广勺],试证明:q(X)p-pH(X)=H2(p)=-plogp-(1-p)log(l-p)当p二1/2时,H(X)达到最大值。(2)对(1)屮的DMS,考虑它的二次扩展信
27、源X⑵={UI,xI),(xI,x2),(x2,xI),(x2,x2)},证明:H(X⑵)=2H(X)证明:(1)函数H(X)"PlogP-(l-P)logd-P)中的变量p在o到1中取值,从函数的结构上可以知道该函数在区间[0,1]上是关于p=l/2对称的函数。H(xy=(-piogp-(i-p)iog(i-p)y1-pI-p1pIn2(1-/?)In2在区间[0,0.5]上l・p>p,则(l・p)/p>l,所以log上£>0,在此区间上H(Q>0,PH(x)单调递增。又该函数是在区间[0,1]上是关于p
28、=l/2对称的函数,那么在区间[0.5,1]±单调递减。所以,H(X)=H2(p)=-plog/?-(1-p)log(l-p)当p=l/2时,H(X)达到最大值。⑵二次扩展后的矩阵:XXyXxx}x2x2x,x2x2lq(X)]=lp2p(l-p)p(l-p)(l-p)2H(X(2})=-p2logp2-p(1-p)logp(1-p)-p(1-/?)logp(l-p)-(l-p)2log(1-p)2=-2plogp-2(1-p)log(1_〃)=2[-plogp-(1-p)log(1一“)]=2H(X)2.
29、10一副扑克牌(不用大小王),试问(1)任意特定排列给出的信息量是多少?(2)从52张牌屮抽取13张,所给出的点数都不相同时得到多少信息量?(3)从52张牌中任意抽取1张,然后放回,结果试为从DMS中取得样本,这个DMS的嫡为多少?I(xi)=—log=225.6(比特/符号)(4)若(3)中不计颜色,爛又为多少?解:(1)413(2)I(xTog(q・)二-log(—)=log(i—:)'z£4,3*13!*3
此文档下载收益归作者所有