《信息论与编码》第四章习题解答

《《信息论与编码》第四章习题解答》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《信息论与编码》第四章习题解答4.1计算如下所示离散无记忆信道的容量：1-e-d1(a)00(b)00dde0.50.25111e0.25d0.512221-e-d0.5(c)1-e(d)03/4000e1/41-e1/31/311111/3ee1/422221-e3/4(e)1/3(f)1-e00001/31/3e11/311/31/32d1/31/323111/31-d习题4.1图[解]（a）信道概率转移矩阵为æ1-e-ddeöP=çç÷÷，èed1-e-dø信道是准对称信道，因此在输入为等概分布时达到信道容量，即P(X=0)=P(X=1)=0.5时达到信

2、道容量。这时P(Y=0)=0.5-0.5dP(Y=1)=dP(Y=2)=0.5-0.5d相应的信道容量为C=I(X=0;Y)=I(X=1;Y)2p(j

3、0)=åp(j

4、0)logj=0p(j)11-e-dde=(1-e-d)log+dlog+elog0.5-0.5dd0.5-0.5d=(1-e-d)log(1-e-d)+eloge-(1-d)log(0.5-0.5d)（b）信道概率转移矩阵为æ100öç÷P=ç0.50.250.25÷ç÷è00.50.5ø当P(X=0)=P(X=2)=0.5，P(X)=0时，P(Y=0)=0.5，P(Y=1)=0.25，P(Y

5、=2)=0.252p(j

6、0)I(X=0;Y)=åp(j

7、0)log=1bitj=0p(j)2p(j

8、2)I(X=2;Y)=åp(j

9、2)logj=0p(j)0.50.5=0.5log+0.5log=1bit0.250.25I(X=1;Y)=0£1；所以满足定理4.2.2条件，由达到信道容量充要条件可知，信道容量C=1bit/次（c）信道转移概率矩阵为æ1-ee0öç÷P=ç01-ee÷，ç÷èe01-eø信道是对称信道，当输入为均匀分布时，即1P(X=0)=P(X=1)=P(X=2)=3时，达到信道容量。C=log3+eloge+(1-e)log(1-e)=

10、log3-H(e,1-e)（d）信道转移概率矩阵为æ31öç0÷ç44÷ç111÷P=ç333÷ç13÷ç0÷è44ø当p(X=0)=p(X=2)=0.5，p(X=1)=0时，32P(Y=0)=P(Y=2)=，P(Y=1)=882p(j

11、0)I(X=0;Y)=åp(j

12、0)logj=0p(j)231=log2+log1443=bit43I(X=2;Y)=bit42p(j

13、1)I(X=1;Y)=åp(j

14、1)logj=0p(j)11/311/311/3=log+log+log33/832/833/82818=log+log39363£bit4所以满足定理4.2.

15、2所规定的达到信道容量的充要条件，信道容量为3C=bit/次4（e）æ111öç0÷ç333÷ç111÷P=0ç333÷ç111÷ç0÷è333ø信道是准对称信道，当输入分布为均匀分布时达到信道容量，即1p(X=0)=p(X=1)=p(X=2)=时达到信道容量。信道容量为323p(j

16、i)C=ååp(i)p(j

17、i)logi=0j=0p(j)2其中p(Y=0)=p(Y=1)=p(Y=2)=91p(Y=3)=3所以11/311/3C=6×log+3×log92/991/323=logbit/次32（f）信道转移概率矩阵æ1-eeöP=çç÷÷èd1-dø利用方程

18、求逆方法计算信道容量。设p(X=0)=q，p(X=1)=1-q，0

19、-d-e1-d-eú=logê2+2ëû由w=2b0-C，w=2b1-e01解出(1-d)w-dw01q=1-e-d(1-e)w-ew101-q=1-e-d4.2计算如下信道的容量，1001-e11ee221-e习题4.2图[解]把该信道看成是退化信道C和二元对称信道C的和信道，1211-e0011ee221-e退化信道C二元对称信道C124退化信道容量为C=0，二元对称信道容量为C=1-H(e)，12所以和信道的容量为1-H(e)C=log[1+2]达到信道容量的输入分布为p(X=0)=2C1-C1=1-H(e)1+2p(X=1)=p(X=2)=0.5×2C

20、2-C-H(e)2=1-H(e)1+2