信息论与编码第3章信道与信道容量ppt课件.ppt

《信息论与编码第3章信道与信道容量ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章信道与信道容量吴晓青目录3.1信道分类3.2单符号离散信道及其容量3.2.1数学模型3.2.2信道容量3.2.3离散信道容量的迭代算法3.3离散序列信道及其容量3.4信源与信道的匹配3.5连续信道及其容量3.5.1连续单符号加性信道3.5.2多维无记忆加性连续信道3.5.3加性高斯白噪声波形信道信道：信息传输的通道，是传输信息的载体，其主要任务是传输或者存储信息。通信的本质：就是通过信道传输信息，实现不同地点之间或者不同时间的信息交流。主要研究内容：在理论上能够传输或者存储的最大信息量，即信道容量。3.1信道分类信息论研究信道，一般认为已经知道信道的传输特性，即输入、输出之间

2、的统计依赖关系已知。离散无记忆信道模型根据统计特性分类：恒参信道：信道的统计特性不随时间而变化。比如，幅度衰减倍数等参数恒定。如电话线、光纤、高斯白噪声信道、卫星信道一般视为恒参信道。随参信道：信道的统计特性随时间而变化。统计特性随着环境、温度、湿度等参数而变化。如短波信道随电离层变化而变化；微波信道，移动电话在高速列车上可能因多普勒效应发生频移等。根据信道用户量多少分类：单用户信道：也称两端信道，该信道只有一个输入端和一个输出端，而且只能进行单方向的通信。点对点应用。多用户信道：也称多端信道，输入端或者输出端至少有一端具有两个或者两个以上用户，并且可以实现双向通信。目前大多数信道

3、都是多端信道。广播信道、通信网络等。根据输入、输出的取值特性分类：离散信道：也称为数字信道，该类信道中输入空间、输出空间均为离散事件集合，集合中事件数量是有限的，或者有限可数的，随机变量取值都是离散的。连续信道：也称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是无限的、不可数的，即随机变量的取值数量是无限的、或者不可数的。半离散半连续信道：输入空间、输出空间一个为离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个是连续的。波形信道：也称为时间连续信道，信道输入、输出都是时间的函数，而且随机变量的取值都取自连续集合，且在时间上的取值是

4、连续的。根据信道中信号所受噪声的统计特性分类：随机差错信道：信道中传输码元所遭受的噪声是随机的、独立的，这种噪声相互之间不具有关联性，码元错误不会成串出现，最具有代表性的是高斯白噪声信道。（无记忆信道）突发差错信道：信道中噪声或者干扰对传输码元的影响具有关联性，相互之间并不独立，从而使得码元错误往往成串出现，常有的如衰落信道、码间干扰信道。在实际中这种信道经常出现，如移动通信的信道、光盘存储等都属于该类信道。（有记忆信道）3.2单符号离散信道及其容量3.2.1数学模型单符号无记忆信道：信道的输入符号之间、输出符号之间都不存在关联性，即无记忆的，此时输入、输出可以看作是单符号的，称

5、这类信道为单维信道或者单符号信道。单符号离散无记忆信道进一步，如果信道的输入、输出随机变量都是离散的，则该信道为单符号离散无记忆信道。输入符号集合X、输出符号集合Y内部不存在关联性，集合X和集合Y之间有关联。离散无记忆信道模型条件转移概率用来描述信道特性。输入x=ai，输出y=bj对应的条件转移概率为信道转移矩阵用矩阵来表示信道输入、输出符号之间的条件转移关系：又称为条件转移矩阵或者信道转移矩阵。条件转移矩阵是一个r×s的矩阵，当输入、输出集合的元素数量相等(r=s)时，是一个方阵。信道的条件转移概率p(bj

6、ai)通常称为前向概率，表示在输入为ai时，通过信道后接收为bj的概率，

7、描述了信道噪声的特性。p(ai

8、bj)称为后向概率，表示当接收符号为bj时，信道输入为ai的概率，所以也称为后验概率。后验概率求法前向概率、后验概率由公式由公式3.2.2信道容量信道的信息传输率R含义：1、表示在单符号离散信道中，平均每个符号传送的信息量。2、由于信道中存在干扰，信道输出端接收的符号与输入符号之间并不是一一对应的;从信息传输的角度而言，信道输入符号X所携带的平均信息量H(X)并不等于信道输出端接收到的信息量H(Y)；3、信道的干扰或者噪声总是有限的，从统计角度而言，总有部分信息能够准确传输。信息传输速率t:传输一个符号所需时间的单位：bit/符号÷s/符号=bit/

9、s定义3.1设某信道的平均互信息量为I(X;Y)，信道输入符号的先验概率为p(x)，该信道的信道容量C定义为上述的极值问题实际是有约束条件的，先验概率分布应当满足下列条件对于给定信道，前向概率p(x)是一定的，所以信道容量就是在信道前向概率一定的情况下，寻找某种先验概率分布，从而使得平均互信息量最大，这种先验分布概率称为最佳分布。几点讨论：1、对于给定信道最佳分布总是存在的。如果信道输入满足最佳分布，信息传输率最大，即达到信息容量C；如果信道输入的先验分布不是最佳分布