信息论与编码A_第3章信道容量课件.ppt

《信息论与编码A_第3章信道容量课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章信道容量西南交通大学信息科学与技术学院信息论与编码InformationandCodingTheory1第3章信道容量3.1信道基本概念3.2离散无记忆信道容量3.3组合信道的容量3.4连续无记忆信道的容量3.5波型信道的容量23.1信道基本概念信道物理模型输入消息X输出消息Y干扰XY信道干扰33.1信道基本概念信道分类根据信道用户的多少单用户信道多用户信道根据信道输入端与输出端的关系无反馈信道有反馈信道根据信道的参数与时间的关系固定参数信道时变参数信道43.1信道基本概念根据输入与输出随机变量的取值分类离散信道(数字信道:时间、取值离散)连续信道(模

2、拟信道:取值连续)半连续信道(时间、取值一个离散，另一个连续)波形信道(时间、取值连续)53.1信道基本概念信道模型输入:随机变量X(字母集为:A={a1,a2,…,an})输出:随机变量Y(字母集为:B={b1,b2,…,bm})干扰:条件概率(转移概率,信道矩阵)P(y

3、x)(xA,yB)XYP(y/x)信道干扰63.1信道基本概念离散无记忆信道(DMC:discretememorylesschannel)输入随机变量X的取值空间A={a1,a2,…,an}X的概率分布:Qi=P{X=ai}(aiA)输出随机变量Y的取值空间B={b1,b2,…,b

4、m}任给输入序列x=(x1,x2,…,xN)，设输出序列为y=(y1,y2,…,yN)，则转移概率P(y

5、x)=P(y1,y2,…,yN

6、x1,x2,…,xN).定义3.1.1.DMC记为:(X,P(Y

7、X),Y)74.2.3DMC的信道容量平稳DMC的信道转移概率矩阵(前向转移概率矩阵)pij=P{Y=bj

8、X=ai}(aiA,bjB)表示在信道输入ai条件下信道输出bj的概率，称为前向转移概率.84.2.3DMC的信道容量二进制对称信道（BinarySymmetricChannel,BSC）信道的输入输出符号数皆为2，转移概率矩阵9第3章信道容量3.

9、1信道基本概念3.2离散无记忆信道容量3.3组合信道的容量3.4连续无记忆信道的容量3.5波型信道的容量103.1信道基本概念信道中的信息量I(X;Y)H(X)H(Y)H(Y

10、X)(噪声熵)H(X

11、Y)(疑义度)113.2离散无记忆信道容量信道的信息传输率RR=I(X;Y)=H(Y)H(Y

12、X)=H(X)H(X

13、Y)(bit/符号)XYP(y/x)信道干扰信道的信息传输速率Rt信道在单位时间内平均传输的信息量。如果信道平均传输一个符号需要t秒钟，则123.2离散无记忆信道容量关于输入概率分布取最大值最大值是存在的.相应的输入分布称为最佳分布C是信道传输信

14、息的最大能力信道容量：信道的最大信息传输速率Ct133.2离散无记忆信道容量条件熵:H(X

15、Y)=H(Y

16、X)=0互信息量:I(X;Y)=H(Y)=H(X)信道容量:C=log

17、A

18、=log

19、B

20、=n.无噪无损信道X与Y是一一对应关系.x1y1x2y2x3y3111143.2离散无记忆信道容量条件熵:H(Y

21、X)=0,H(X

22、Y)0互信息量:I(X;Y)=H(Y)

23、B

24、.无噪有损信道X与Y是多对一关系.1x1y1x211x3y2x41153.2离散无记忆信道容量条件熵:H(X

25、Y)=0,H(Y

26、X)0互信息量:I(X;Y)=

27、H(X)

28、A

29、.有噪无损信道X与Y是一对多关系.0.5x1y20.5y10.6y30.3y40.1y5x2y61x3163.2离散无记忆信道容量例3-2-1设离散无噪有损信道的转移概率矩阵为若传输一个符号需要秒钟，试计算该信道在单位时间内的最大信息传输速率。解：信道容量:C=log

30、B

31、=log2=1,最大信息传输速率173.2离散无记忆信道容量DMC信道容量定理定理3-2-1输入随机变量X的概率分布:p={p1,p2,…,pn}是最佳分布的充分必要条件为：I(X=ai;Y)=C,对pi>0.183.2离散无记忆信道容量例3-2

32、-2设DMC的转移概率矩阵为其中1>>0.求信道容量和最佳输入随机变量的概率分布。解：设信道最佳输入随机变量的概率分布为(p(a1),p(a2),p(a3))，三个输入概率与信道容量，共4个参数，需列4个方程。根据充要条件，有193.2离散无记忆信道容量203.2离散无记忆信道容量213.2离散无记忆信道容量DMC容量的计算设转移概率:pij=P{Y=bj

33、X=ai}(aiA,bjB)qj=P{Y=bj}(bjB)223.2离散无记忆信道容量局限性当n

34、符号集为{a1,a2,a3,a4},输出Y的符号集为