最新第四章：信道与信道容量PPT课件.ppt

《最新第四章：信道与信道容量PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章：信道与信道容量概念问题熵熵率无失真信源编码定理中的作用互信息信道容量信道编码定理中的作用回顾－互信息函数的性质1互信息与信道输入概率分布的关系性质1：I(X;Y)是信道输入概率分布p(x)的上凸函数.I(X;Y)p(x)回顾－互信息函数的性质5性质3、性质4的推论：信道的输入和信道本身都是离散无记忆的信道与信道容量概述信道的分类与描述离散无记忆信道及其容量连续信道及其容量容量代价函数C(F)§4.1:概述信息论对信道研究的内容什么是信道？信道的作用研究信道的目的§5.1:概述－1信息论对信道研究的内容：信道的建模：用恰当的输入/输出两个随机过程来描

2、述信道容量不同条件下充分利用信道容量的各种办法§5.1:概述－2什么是信道？信道是传送信息的载体——信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。§5.1:概述－3信道的作用在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。§5.1:概述－4研究信道的目的实现信息传输的有效性和可靠性有效性：充分利用信道容量可靠性：通过信道编码降低误码率在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。通

3、信技术研究－－信号在信道中传输的过程所遵循的物理规律，即传输特性信息论研究－－信息的传输问题（假定传输特性已知）§4.2:信道的分类与描述信道分类信道描述§4.2:信道分类与描述－1信道分类从工程物理背景——传输媒介类型；从数学描述方式——信号与干扰描述方式；从信道本身的参数类型——恒参与变参；从用户类型——单用户与多用户；§4.2:信道分类与描述－2§4.2:信道分类与描述－3§4.2:信道分类与描述－4§4.2:信道分类与描述－5§4.2:信道分类与描述－6信道描述信道可以引用三组变量来描述：信道输入概率空间：信道输出概率空间：信道概率转移矩阵：P即：{P}，

4、它可简化为：。§4.2:信道分类与描述－7其中：而而§4.2:信道分类与描述－8当K=1时，退化为单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道BSC：且,,§4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道容量的计算离散无记忆信道的信道容量定理对称的离散无记忆信道容量香农第一定理的物理意义§4.3:离散无记忆信道及其信道容量-1离散消息序列信道§4.3:离散无记忆信道及其信道容量-2离散无记忆信道及其信道容量由消息序列互信息性质对离散无记忆信道，有：（性质4）则当

5、且仅当信源(信道入)无记忆时，“等号”成立（性质3、4推论）§4.3:离散无记忆信道及其信道容量-3离散无记忆信道及其信道容量的进一步理解Cmax存在互信息性质1，上凸函数极值存在达到Cmax时的两个条件：信道输入（信源）是离散无记忆的信道输入的概率分布是使I(X,Y)达到最大的分布C的值不是由信源的p(x)决定的，而是由p决定的C是信道作为信息传输通道的性能度量只有信道输入（信源）X（x1x2…xn)满足一定条件时，才能充分利用信道传输信息的能力§4.3:离散无记忆信道及其信道容量-4离散无记忆信道容量的计算思路：问题转化为：有界闭区域上求约束极值方法：1、求

6、区域内极值2、求边界极值3、求前两者的最大值具体实现：1、简单情况下求解（如单符号信道、对称信道）2、解方程3、迭代法4、其他§4.3:离散无记忆信道及其信道容量-5离散无记忆信道的信道容量定理定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的概率分布p*能使互信息I(p,Q)取最大值的充要条件是其中：是信源字母ak传送的平均互信息，C就是这一信道的信道容量。§4.3:离散无记忆信道及其信道容量-6离散无记忆信道的信道容量定理理解在这种分布下，每个概率>0的字母提供的互信息＝C，每个概率＝0的字母提供的互信息≤C当且仅当这种分布时，可使I(p,Q)达

7、到最大值CI(X,Y)是I(x=ak;Y)的平均值。即：想提高I(X,Y)，可以提高p(ak)但提高p(ak)，又使I(x=ak;Y)降低反复调整p(ak)，使I(x=ak;Y)相等且都等于C此时I(X,Y)＝C定理只给出了可使I(X,Y)＝C的p(x)的充要条件，并无具体分布及C的值，但可以帮助求解简单情况部分信道的C§4.3:离散无记忆信道及其信道容量-7对称的离散无记忆信道信道容量对称的离散无记忆信道输出字母的集合可以划分为若干子集，对每个子集有：矩阵中的每一行都是第一行的重排列；矩阵中的每一列都是第一列的重排列。定理5.2：对于对称的离散无记忆信道，当信道

8、输入字母为