信息论与编码-第10、11讲-第3章信道容量

《信息论与编码-第10、11讲-第3章信道容量》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2021/7/2413信道容量信道的功能：以信号形式传输和存储信息。信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。信道容量研究内容：在什么条件下，通过信道的信息量最大。3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.3多符号离散信道3.4多用户信道3.5连续信道3.6信道编码定理2021/7/242引言什么是信道？信道是传送信息的载体——信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。信道的

2、作用在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。研究信道的目的在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。2021/7/2433.1信道的数学模型和分类(1)一般信道的数学模型(2)信道的分类(3)实际的信道2021/7/244(1)一般信道的数学模型①信道的输入输出关系②一般信道的数学模型2021/7/245①信道的输入输出关系信号在信道中传输会引入噪声或干扰，它使信号通过信道后产生错误和失真；信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系；知道了

3、信道的输入信号、输出信号以及它们之间的依赖关系，信道的全部特性就确定了。一般来说，输入和输出信号都是广义的时间连续的随机信号，可用随机过程来描述。2021/7/246②一般信道的数学模型信道的一般数学模型如图3.1.1所示数学模型的数学符号表示{XP(Y/X)Y}实际信道带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。2021/7/247(2)信道的分类①根据输入输出随机信号的特点分类②根据输入输出随机变量个数的多少分类③根据输入输出个数分类④根据信道上有无干扰分

4、类⑤根据信道有无记忆特性分类2021/7/248①根据输入输出随机信号的特点分类离散信道：输入、输出随机变量都取离散值。连续信道：输入、输出随机变量都取连续值。半离散/半连续信道：输入变量取离散值而输出变量取连续值，或反之。2021/7/249②根据输入输出随机变量个数的多少分类单符号信道：输入和输出端都只用一个随机变量来表示。多符号信道：输入和输出端用随机变量序列/随机矢量来表示。2021/7/2410③根据输入输出个数分类单用户信道：只有一个输入和一个输出的信道。多用户信道：有多个输入和多个输出的信道。2021/7/2411④根据信道上有无干扰

5、分类有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。2021/7/2412⑤根据信道有无记忆特性分类无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。有记忆信道：信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。2021/7/2413(3)实际的信道实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。一个实际信道可同时具有多种属性。最简单的信道是单符号离散信道。2021/7/241

6、43.2单符号离散信道的信道容量3.2.1信道容量定义3.2.2几种特殊离散信道的信道容量3.2.3离散信道容量的一般计算方法2021/7/24153.2.1信道容量定义(1)单符号离散信道的数学模型(2)信息传输率(3)信道容量(4)结论2021/7/2416(1)单符号离散信道的数学模型①信道模型②信道统计特性2021/7/2417①信道模型设输入X∈{x1,x2,…,xi,…,xn}输出Y∈{y1,y2,…,yj,…,ym}其信道模型如图3.2.1所示。2021/7/2418②信道统计特性信道统计特性描述：由信道转移概率描述。信道转移概率/信

7、道传递概率：条件概率p(yj/xi)。信道特性表示：用信道转移概率矩阵，简称信道矩阵。反信道矩阵：由条件概率p(xi/yj)表示。2021/7/2419(2)信道的信息传输率如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。信道的信息传输率：就是平均互信息R=I(X;Y)。输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)≤H(X)。I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj/xi)的二元函数：2021/7/2420(3)信道容量当信道特性

8、p(yj/xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就能获得不同的信息量。由