资源描述：
《信息论讲义-第四章(11讲)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息理论基础信息理论基础第11讲北京航空航天大学201教研室陈杰回顾1.信道容量(ChannelCapacity)def—信道容量CI=max{}(;)XYpx()—信息传输率R=IXYHXHXY(;)()(
2、)=−—1信息传输速速率RI=(;)XYtt2.特殊信道及其容量—离散无噪信道(编码信道)—离散对称信道2006-11-27回顾2.1离散无噪信道(编码信道)分无损确定信道无损信道确定信道类定H(X
3、Y)=0（无损）H(X
4、Y)=0（无损）H(X
5、Y)>0（有损）义H(Y
6、X)=0（无噪）H(Y
7、X)>0（有噪）H(Y
8、X)=
9、0（无噪）特一一对应一多对应多一对应点CCr=logCr=logCs=logp(x)p(x)=1/rp(x)=1/rp(x)使p(y)=1/s2006-11-27回顾2.2离散对称信道分准对称信道对称信道强对称信道类⎡111⎤⎡ppp?p⎤⎡⎤1111⎢⎥⎢rr−11−−r1⎥236⎢⎥⎢⎥3366⎢⎥⎢ppp⎥P=⎢⎥⎢111⎥=⎢−p−−?⎥示P=Prrr111例⎢⎥1111⎢623⎥⎢@@@@⎥⎢⎥⎣⎦⎢⎥⎢⎥6363⎢111⎥⎢ppp⎥⎢⎣⎥⎦⎢?p⎥362⎣rrr−−−111⎦输入为等概'''CCs=−logH(p12,,
10、,pp?s)Cr=log−−prHlog(1)−()p分布时，R=CnCr=−logH()信道矩阵行向量−∑NMkklogk=12006-11-27回顾0.70.7a1b1a10.2b10.20.10.1b3b30.10.20.20.1a2ba2b20.720.7bbb123bbb123a1⎡⎤0.70.10.2a1⎡0.70.10.2⎤P1=⎢⎥P=⎢⎥a0.10.70.222⎣⎦a2⎣0.20.70.1⎦准对称信道非对称信道2006-11-27例题例4.12设二进制对称信道的传递矩阵为⎡21⎤⎢⎥33P=⎢⎥YX
11、⎢12⎥⎢⎣3
12、3⎥⎦（1）若P(0)=3/4，P(1)=1/4，求H(X)，H(X
13、Y)，H(Y
14、X)和I(X;Y)。(2)求该信道的信道容量及达到信道容量的最佳输入概率分布。2006-11-27例题解:(1)X和Y的联合概率分布为⎡21⎤⎡⎤P(0)0⎢33⎥P=⎢⎥⎢⎥XY⎣⎦0(1)P⎢12⎥⎢⎣33⎥⎦⎡⎤3⎡21⎤⎡11⎤0⎢⎥4⎢33⎥⎢24⎥=⎢⎥⎢⎥=⎢⎥⎢⎥112⎢⎥⎢11⎥0⎢⎥⎣⎦433⎢⎣⎥⎦⎢⎣126⎥⎦2006-11-27例题X和Y的边缘概率分布分别为⎡31⎤P==[]PP(0)(1)X⎢⎥⎣44⎦⎡21⎤⎡⎤31⎢3
15、3⎥PPP=•=⎢⎥YXY
16、X⎢⎥⎣⎦44⎢12⎥⎢⎣33⎥⎦⎡1111⎤⎡75⎤=++=⎢⎣21246⎥⎦⎢⎣1212⎥⎦2006-11-27例题3311HX()=−log−log=0.811bit44447755HY()=−log−log=0.98bit12121212根据定义计22算H(Y
17、X)比HYX(
18、)=−∑∑pxy()log(
19、)ijpyxji较繁琐ij==1112111112=−log−log−log−log234312363=0.918bit2006-11-27例题22HYX(
20、)(=−∑∑pxij)p(y
21、xpi
22、j)log(y
23、xi)ij==1132⎛⎞112⎛⎞1⎛⎞21=×HH⎜⎟,+×⎜⎟,==Hb⎜⎟,0.918it43⎝⎠343⎝⎠3⎝⎠33HXYHXYHY(
24、)(,)()=−=HXHYXHY()+−(
25、)()=0.8110.9180.98+−=0.749bitIXYHXHXY(;)=−()(
26、)=0.8110.749−=0.062bit=−H()YHYX(
27、)=0.980.918−=0.062bit2006-11-27例题（２）根据信道矩阵，该信道为对称信道根据对称信道的信道容量定理'''Cs=−logH(p12,,,pp?s)
28、⎛⎞21=−log2,H⎜⎟⎝⎠33=0.082bit达到信道容量的最佳输入分布为PP(0)=(1)0.5=2006-11-27例题例4.13求二元对称信道的信道容量解：二元对称信道的平均互信息I()X;Y=H(ωp+ωp)−H(p)当时1,ω=ω=2I(;)XY1H(ωp+ωp)=H()=11(−Hp)2则信道容量为C=1−H(p)00.5p2006-11-27例题例4.14根据概率转移图给出信道矩阵，并求信道的信道容量1b113121a1b611a113b213161611x66Yxa216bY122ab31233311a361
29、b33b422006-11-27例题由概率转移图可以写出信道矩阵如下⎡111⎤⎡⎤1111⎢236⎥⎢⎥⎢⎥3366⎢111⎥P=⎢⎥P=12⎢⎥⎢⎥1111623⎢⎥⎢⎥⎣⎦6633⎢111⎥⎢⎣362⎥⎦2006-11-27例题解
