彭代渊王玲-信息论与编码理论-第三章习题解答

《彭代渊王玲-信息论与编码理论-第三章习题解答》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、信息论与编码理论第3章信道容量2/31/33-1设二进制对称信道的转移概率矩阵为1/32/3解:(1)若Pa()3/4,()1/4Pa，求HXHYHXYHYX(),(),(

2、),(

3、和)12IXY(;)。23311H(X)=p(a)logp(a)iilog()log()0.8113(bit/符号)i=1444432117p(b)=p(a)p(b

4、a)+p(a)p(b

5、a)=111121243431231125p(b)=p(a)p(b

6、a)+p(a)p(b

7、a)=21212224343

8、1227755H(Y)=p(b)log(b)=jjlog()log()0.9799(bit/符号)j=11212121222H(Y

9、X)=p(a,b)logp(b

10、a)ijjip(b

11、a)logp(b

12、a)jijiij,j2211log()log()0.9183(bit/符号)3333I(X;Y)=H(Y)H(Y

13、X)=0.97990.91830.0616(bit/符号)H(X

14、Y)=H(X)I(X;Y)=0.81130.06160.7497(bit/符号)(2)求该信道的信道容量及其

15、达到信道容量时的输入概率分布。二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C=1-H(P)=1+log()+log()=0.0817(bit/)符3333BSC信道达到信道容量时，输入为等概率分布，即：{0.5，0.5}注意单位3-2求下列三个信道的信道容量及其最佳的输入概率分布。1第3章信道容量XYXYXY110.3ababab1111111aba10.7b22221ababab33312213100第一种：无噪无损信道，其概率转移矩阵为：P=010001信道容量：

16、Cmax(;)IXYbit/符号PX()Cmax{(;)}max{()IXYHXHXY(

17、)}px()px()HXY(

18、)0Cmax{(;)}max{()}IXYHXpx()px()离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850bit/符号111输入最佳概率分布如下：,,33310第二种：无噪有损信道，其概率转移矩阵为：P=01，离散输入信道，01Cmax{(;)}max{()IXYHYHYX(

19、)}px()px()HYX(

20、)

21、0Cmax{(;)}max{()}IXYHYpx()px()H(Y)输出为等概率分布时可达到最大值，此值就是信道容量此时最佳输入概率：p(a)+p(a)=0.5,p(a)=0.5123信道容量：C=log(2)=1bit/符号第三种：有噪无损信道，由图可知：Cmax{(;)}max{()IXYHXHXY(

22、)}px()px()HXY(

23、)0Cmax{(;)}max{()}IXYHXpx()px()输入为等概率分布时可达到信道容量，此时信道容量2信息论与编码理论C=max{H(X)}=log(2)=111

24、bit/符号输入最佳概率分布：,p(x)223-3设4元删除信道的输入量X{1,2,3,4}，输出量YE{1,2,3,4,}，转移概率为PY(iX

25、i)1PY(EX

26、i)1-ε000ε01-ε00εP=001-ε0ε其中i1,2,3,40001-εε1-ε000ε01-ε00εp1=p2=001-ε0ε0001-εε1）该信道是对称DMC信道吗？2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。（

27、1）本通信过程的转移概率分布如下所示：1-ε000ε1-ε000ε01-ε00ε01-ε00εP=可以分解为两个矩阵：p1=p2=001-ε0ε001-ε0ε0001-εε0001-εε可以看出该信道不是对称DMC信道，它是准对称DMC信道。（2）该信道的信道容量为：（直接套用准对称信道计算公式）Clognpba(j

28、k)log(pbaj

29、k)NslogMsjslog(4)H(1,)(1)log(1)log(4)22(

30、1)log(1)log()(1)log(1)log(4)12log()22(bit/符号)4（3）两个独立并联的二元删除信道其转移概率如下：1-εε01-ε0ε可以写成：与的形式0ε1-ε0