第五章：信道与信道容量ppt课件.ppt

《第五章：信道与信道容量ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、本章内容回顾定长信源编码描述证明－AEP性质（描述、证明、物理意义、应用）物理意义编码信息率、编码效率应用(问题）变长编码定理描述证明－KRAFT定理（描述、证明、物理意义、应用物理意义平均码长、编码效率应用－构造实用码（码树构造、huffman码、算术码）本章节达到的目的了解信息论研究信道的目的、内容了解信道的基本分类并掌握信道的基本描述方法掌握信道容量/信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系能够计算简单信道的信道容量/信道容量代价函数（对称离散信道、无记忆加性高斯噪声信道）了解信道容量/容量代价函数在研究通信系统中的

2、作用理解香农第一定理又称无噪信道编码的物理意义进一步从信息论的角度理解香农公式及其用途概念问题熵熵率无失真信源编码定理中的作用互信息信道容量信道编码定理中的作用回顾－互信息函数的性质1互信息与信道输入概率分布的关系性质1：I(X;Y)是信道输入概率分布p(x)的上凸函数.回顾－互信息函数的性质2互信息与信道转移概率分布的关系性质2：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.回顾－互信息函数的性质3互信息与信道输入符号相关性的关系性质3:信道的输入是离散无记忆的,回顾－互信息函数的性质4互信息与信道输入符号相关性的关系性质4:信道是离散无

3、记忆的,回顾－互信息函数的性质5性质3、性质4的推论：信道的输入和信道本身都是离散无记忆的信道与信道容量概述信道的分类与描述离散无记忆信道及其容量连续信道及其容量模拟信道及其容量信道冗余度§5.1:概述信息论对信道研究的内容什么是信道？信道的作用研究信道的目的§5.1:概述－1信息论对信道研究的内容：信道的建模：用恰当的输入/输出两个随机过程来描述信道容量不同条件下充分利用信道容量的各种办法§5.1:概述－2什么是信道？信道是传送信息的载体——信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电

4、视，听收音机，收、发间的空间就是信道。§5.1:概述－3信道的作用在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。信道容量研究内容：在什么条件下，通过信道的信息量最大。§5.1:概述－4研究信道的目的实现信息传输的有效性和可靠性有效性：充分利用信道容量，使传输的信息量尽可能大可靠性：通过信道编码降低误码率结合通信系统研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。通信技术研究－－信号在信道中传输的过程所

5、遵循的物理规律，即传输特性信息论研究－－信息的传输问题（假定传输特性已知）§5.2:信道的分类与描述信道分类信道描述§5.2:信道分类与描述－1信道分类从工程物理背景——传输媒介类型；从数学描述方式——信号与干扰描述方式；从信道本身的参数类型——恒参与变参；从用户类型——单用户与多用户；§5.2:信道分类与描述－2§5.2:信道分类与描述－3§5.2:信道分类与描述－4信道划分是人为的，比如其中：c1为连续信道，调制信道；c2为离散信道，编码信道；c3为半离散、半连续信道；c4为半连续、半离散信道。§5.2:信道分类与描述－5§5.2:信道分类与描述－6§

6、5.2:信道分类与描述－7信道描述信道可以引用三组变量来描述：信道输入概率空间：[XK,p(x)]信道输出概率空间：[YK,q(y)]信道概率转移矩阵：P(y/x)即：{[XK,p(x)]，P(y/x)，[YK,q(y)]}，它可简化为：§5.2:信道分类与描述－8其中：而而§5.2:信道分类与描述－9当K=1时，退化为单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道BSC：且：§5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量一般离散无记忆信道容量的计算离散无记忆信道的信

7、道容量定理对称的离散无记忆信道容量的计算香农第一定理的物理意义§5.3:离散无记忆信道及其信道容量-1离散消息序列信道§5.3:离散无记忆信道及其信道容量-2信道的任务信道容量传输有效性传输可靠性信道噪声信息流通过特定信道（信道容量和噪声特性已定）尽可能有效且可靠地传输信源的信息离散通信信道X={x1,x2,…,xr}信息流§5.3:离散无记忆信道及其信道容量-3H(X)H(Y)H(Y

8、X)H(X

9、Y)I(X;Y)SourceentropyReceivedinformation噪声熵信道疑义度（损失熵）Transmittedpartofinformat

10、ionH(X/Y)—信道疑义度/损失熵。Y关于X的后验不确定度。表