信息论基础2010-第四章

《信息论基础2010-第四章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论基础浙江大学信息与通信工程研究所张朝阳2010夏学期第四章信道、信道容量及信道编码定理引言通信的数学理论：功率与带宽等通信资源的效用极限随机编码、联合（典型列）译码、注水法则、特征波束赋型等重要思想方法具体通信体制（OFDM/MIMO）的理论基础信道及其分类物理信道：噪声信道、干扰信道、衰落信道、存储信道…按输入/输出信号在幅度和时间上取值的连续性：幅度离散，时间离散信道；幅度连续，时间离散信道；幅度连续，时间连续信道；幅度离散，时间连续信道。按输入/输出之间的记忆性有记忆信道无记忆信道按其输入/输出信号的关系的确定性：确定信道随机

2、信道信道的抽象模型输入/输出统计关系输入量输出量X信道Y（随机过程）（随机过程）nynW^Wx信道编码信道{P(yn/xn)}信道编码N离散无记忆信道NNpN(y/x)=∏p(yn

3、xn),∀Nn=1平稳信道p(yn=j

4、xn=k)=p(ym=j

5、xm=k),∀n,m记为：{;p(y

6、x);}信道（互信息）容量1C=limmaxI(XXX;YYY)n12n12nn→∞nQ(x)平均每次利用信道，在输入和输出符号之间所能相互提供的互信息的最大值的极限离散无记忆信道（DMC）容量（I）对于离散无记忆信道（DMC）nI(XXX;YYY)≤∑I(X;Y)12n12

7、niii=1其中等号在输入为独立随机序列时达到。[证明]I(X1X2Xn;Y1Y2Yn)=I(X;Y)=H(Y)−H(Y

8、X)H(Y)=H(Y1Y2Yn)=H(Y1)+H(Y2

9、Y1)+H(Y3

10、Y1Y2)++H(Yn

11、Y1Y2Yn−1)n≤∑H(Y)等号在输出独立也即输入独立时达到。ii=1nnnni−1ni−1H(Y

12、X)=H(Y

13、X)=∑H(Yi

14、YX)=∑H(Yi

15、YX1X2Xi-1XiXi+1Xn)i=1i=1n=∑H(Yi

16、Xi)nni=1nI(X;Y)≤∑H(Yi)−∑H(Yi

17、Xi)=∑I(Xi;Yi)i=1i=1i=1离散无记忆信道（D

18、MC）容量（II）因此，对DMCnI(X1X2Xn;Y1Y2Yn)≤∑I(Xi;Yi)=nI(X;Y)i=1从而C=maxI(X;Y){Q}kDMC容量的例子——无噪信道XYx1y1H(X

19、Y)=0x2y2I(X;Y)=H(X)x3y3C=maxI(X;Y){Q}k=maxH(X){Q}xykMM=logM比特DMC容量的例子——无损信道XYxH(X

20、Y)=01B1I(X;Y)=H(X)x2B2C=maxI(X;Y){Q}k=maxH(X){Q}xkMBM=logM比特DMC容量的例子——确定信道XYp(y

21、x)=0或1jix1,1x1,2y1I(X;Y)=H(Y

22、)−H(Y

23、X)x1,n1=H(Y)x2,1x2,2y2C=maxI(X;Y){Q}x2,n2k=maxH(Y){Qk}x=logm比特m,1xm,2ymxm,nmI(X;Y)=0DMC容量的例子——无用信道XYpp(yj

24、xi)=p(yj)00p(x

25、y)=p(x)1-pijipH(X

26、Y)=H(X)11I(X;Y)=01-pC≡0I(X;Y)=0DMC容量的例子——二进制对称信道（BSC）XYI(X;Y)=H(Y)−H(Y

27、X)1-p00=H(Y)−∑p(x)H(Y

28、X=x)px=H(Y)−∑p(x)H(p)px=H(Y)−H(p)111-p≤1−H(p)当输入取

29、等概分布时，输出Y也为等概分布，所以等号可以成立，即C=1-H(p).I(X;Y)=0DMC容量的例子——二进制除删信道（BEC）C=maxI(X;Y){Q}XYk=max{H(Y)−H(Y

30、X)}{Q}1-pkq00=maxH(Y)−H(p){Qk}pεH(Y)=H(q(1−p),p,(1−q)(1−p))p=H(p)+(1−p)H(q)1-q111-pC=maxH(Y)−H(p){Qk}=max(1−p)H(q)q=(1−p)当输入为等概分布时，等号成立.I(X;Y)=0BSC与BEC的容量比较和启示C100.51p授课小结信道模型离散无记忆信道容量典型信道

31、容量的计算作业复习授课内容预习4.2.4，4.3独立完成习题（每章交一次）4.1（a）,（d）4.3离散无记忆信道的容量定理（I）OP:C=maxI(X;Y){Q}ks.t.:Q≥0k=0,1,2,,K−1k∑Q=1kk离散无记忆信道的容量定理（II）概率分布{Q,Q,Q}达到转移概率为{p(j

32、k)}的离散无记忆01K−1信道容量C的充要条件为:I(X=k;Y)=C∀k,Q>0kI(X=k;Y)≤C∀k,Q=0k其中I(X=k;Y)表示通过信道传送字符X=k时,信道的输入与输出之间可获得的互信息的期望值，即Jp(j

33、k)I(