信息论典型例题

《信息论典型例题》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、1.设信源A(x)_丄634XX20.60.4通过一干扰信道，接收符号为Y={yi，y2}，信道4信源X中事件x7和事件x2分别包含的自信息量；收到消息yj(j=l,2)后,获得的关于xt(7二人2丿的信息量;信源X和彳言宿丫的信息慟信道疑义度H(X/幼和噪声爛H(Y/X)；接收到信息Y后获得的平均互信息量。转移矩阵为(1)(2)(3)(4)(5)解：1)/(xj=-log2/?(x,)=-log20.6=0.737bit/(兀2)=-log2p(x2)=-log20.4=1.322bit2)〃(”)二”(州)〃(yi/兀

2、)+〃(兀2)”()'

3、/x?)=0.6x

4、+0.4x^-

5、=0.66413p(y2)=p(xi)p(yi/xi)+p(x2)p(y2/x2)=O-6x-+o.4x-=oa64I(兀

6、；X)二log.=log.敗=0.474bit~“(yj-0.6/(坷；力)=log2=log2普=-1-263p(y2)0.4Kx2；x)=log2讥)=log?器=_i.263/心)0.6/(兀2；y2)=log?V?)=>°§2=0.907p()‘2)0.4bitbitbit3)H(X)=一工p(xjlogp(x.)=-(0.6log0.6+0.4log0.4)log210=0.971hit/symbolH(Y)=一工p()j)log〃()})=-(0.6

7、log0.6+0.4log0.4)log210=0.971bit/symbol4)H(Y/X)=-工工“a)〃()]/X,.)logp(儿/X.)55111133=-(0.6x—log—+0.6x—log—+0.4x—log—+0.4x—log—)xlog71066664444=0.715bitIsymbolvH(x)+//(r/x)=H(y)+H(x/r)・•・H(XIY)=H(X)+H(Y/X)—H(Y)=0.971+0.715-0.971=0.715bit/symbol/(X；y)=H(X)-H(X//)=0.971-0.715=0.256bitIsymbol'2f33122.

8、设二元对称信道的传递矩阵为L33」(1)若P(0)二3/4,P(1)二1/4,求H(X),H(X/Y),H(Y/X)和KX;Y)-,(2)求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)H(X)”(兀)二一弓xlog?扌+*xlog2*)二0811bitIsymbolH(Y丨X)=-工工〃(兀)〃(儿/兀)logp(yj/兀)="(7xl,gl+7xllgl+7xllgl4_7xllgl)xlog210433433433433-=0.918bit!symbol3211P(yi)=P(x2yl)=p(x2)p(yJx2)=-x-^-x-=0.5S333112〃()2)=”(

9、“力)+卩(兀2儿)=〃(旺“兀儿/兀“+川七力兀儿/勺)=7X3+^X3=0.4167H(K)=p(y.)=-(O.5833Xlog20.5833+0.4167xlog20.4167)=0.980bitIsymboljZ(X；r)=H(X)—H(X/Y)=H(Y)—H(Y/X)H(X/Y)=H(X)-H(Y)+H(Y/X)=0.811-0.980+0.918=0.749bit!symbol/(X;Y)=H(X)-H(X/Y)=0.811-0.749=0.062bit!symbol2)C=max/(X；y)=log2m-Htni=log22+(—lg—+—lg—)xlog210=0.

10、082bit/symbol3.黑白气象传真图的消息只有黑色和白色两种，即信源圧｛黑，白｝。设黑色出现的概率为P(黑)二0.3,白色出现的概率为P(白)二0.7。(1)假设图上黑白消息出现前后没有关联，求^H(X),(2)假设消息前后有关联，其依赖关系为P(白/白)二0.9,P(黑/白)二0.1,P(白/黑)二0.2,P(黑/黑)二0.8,求此一阶马尔可夫信源的燜仏09;解：⑴H(X)=一工pCxJlogp(xt)=-(0.3log0.3+0.7log0.7)=0.881bit/symbolp@i)=p(e1)p(ei/ei)+p(e2)p(el/e2)P(e2)=p(e2)p(e2/

11、e2)^-p(e{)p(e2/ey)/?(^)=0.8/?(^)+0.1/7(e2)P<«3D-0.Bel*p(e2)=0.9p(e2)4-0.2p(e})p(e2)=2p(e^〃(勺)+心)=1J”(勺)=1/3p(e2)=2/3Hg=-工工P(£jp2j/q)logp(€j/勺)p(n.ri)=o.9i*x0.81og0.8+'xO.21ogO.24-2xO.HogO」+：x0.91og0.9、=0.553bit/symbol4.某一无记忆信源的符号