《信息论第三章》PPT课件

《《信息论第三章》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章　信道与信道容量1信道的数学模型和分类离散无记忆信道的信道容量信源与信道的匹配信道的组合连续信道的信道容量本章主要内容2空间传输:各种物理通道---电缆、光缆、空间等。时间传输:指将信息保存，然后在以后读取。信道的数学模型和分类信道概念——通信系统的组成部分，传递和存储信息的通道或媒质,包括空间传输和时间传输。3狭义信道：电传播介质（电缆，自由空间）通信设备（信息经过的通道）广义信道：测量、观察设备（示波器）存储、记忆设备（磁带，光盘，书信等）信道的数学模型和分类4输入输出关系：转移概率p(y

2、x)信

3、道描述：1.输入集合2.输出集合3.输入输出的转移概率分布研究目标：从信道的输出了解信道的输入信道的数学模型和分类5按信道输入出符号分类输入、输出空间＝状态集合＋时间集合离散信道（数字信道）：输入输出空间为离散。连续信道：状态集合连续，时间集合离散。模拟信道（波形信道）：输入输出空间为连续。信道的数学模型和分类6有记忆信道：输出Y不仅与当前的输入X有关，而与前面的输入有关。无记忆信道：输出Y仅与当前的输入X有关，而且与前面的输入无关。信道的数学模型和分类按信道转移概率分布函数的特点分类7信道的数学模型和分类

4、单用户信道：输入和输出都只有一个的单向通信信道。多用户信道：输入和输出中至少有一端有两个以上的用户，且可以进行双向通信。按输入和输出的数目分类8固定参数（恒参）信道：信道的统计特性不随时间变化。时变参数（随参）信道：信道的统计特性随时间变化。信道的数学模型和分类按信道的统计特性与时间的关系分类9单符号无记忆离散信道的信道容量数学模型：或离散无记忆信道的信道容量10研究目标：了解输出端能从输入端得到多少信息？即如何将信道所能传递的信息定量化？数学表示：互信息I(X;Y)I(X;Y)=H(X)-H(X

5、Y)=H

6、(Y)-H(Y

7、X)分析：p(y

8、x)给定，I(X;Y)随输入分布p(x)变化而变化。调整该分布可使互信息达到最大值，即给出了信道所能传递的最大信息量。定义该最大值为给定信道的信道容量，用C表示：求信道容量：找到最佳分布，使互信息达到最大值。（最佳分布：达到信道容量时的信源分布。）离散无记忆信道的信道容量11离散无记忆信道的信道容量12说明：C客观反映信道的传输能力，只与信道特性有关，而与信源无关，表示每个符号可能传输的最大信息量。可以通过编码改变信源的分布使互信息达到最大值。离散无记忆信道的信道容量13定

9、理3.1：对于信道矩阵为P的离散无记忆信道，其输入分布p(x)能使互信息I(X;Y)达到最大值（信道容量）的充要条件是离散无记忆信道的信道容量14例3.3取输入分布离散无记忆信道的信道容量15所以由定理3.1得，最佳分布离散无记忆信道的信道容量16无噪无损信道特殊DMC的信道容量a1b1a2anb2bn11117有噪无损信道特殊DMC的信道容量b1a1b2b6a2a31/21/21/2b5b4b311/31/618无噪有损信道特殊DMC的信道容量a1b1a2a6b2b3111a5a4a319对称信道对称信道

10、定义：信道转移矩阵P中所有的行都是同一组元素的不同排列，所有的列也是同一组元素的不同排列。特殊DMC的信道容量20准对称信道定义：设B为信道转移矩阵P的列集合，如果将B划分成m个子集，而用每一个子集构成的矩阵所对应的信道都是对称信道。特殊DMC的信道容量21特殊DMC的信道容量定理3.2：对于准对称信道，达到信道容量的输入分布为等概分布。证明：(略)准对称信道的信道容量计算22特殊DMC的信道容量例：准对称信道23对称信道的信道容量计算特殊DMC的信道容量24对称信道的信道容量计算特殊DMC的信道容量25特

11、殊DMC的信道容量例：对称信道26强对称信道（均匀信道）定义：信道输入、输出符号个数相同，且信道矩阵为特殊DMC的信道容量27当信道转移概率矩阵P是非奇异时（此时n=m），即逆矩阵P-1存在时，该信道被称为可逆矩阵信道。一般DMC的信道容量28例：取另解：达到信道容量时输入、输出概率分布的唯一性29结论：（1）输入概率分布的解不唯一，输出概率分布的解唯一。（2）当信道转移矩阵可逆时，则输入概率分布有唯一解。达到信道容量时输入、输出概率分布的唯一性30数学模型：多符号信道的信道容量31（1）信道无记忆：证明：

12、多符号信道的信道容量32（2）信源、信道均无记忆：多符号信道的信道容量33信源与信道的匹配34信道的组合35独立并联信道（积信道）特点：多输入，多输出。各分信道彼此独立。容量：…独立并联信道36独立并联信道37和信道特点：随机应用N个信道中的一个，构成一输入/输出信道。容量：分信道的使用概率：…和信道38和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/63/41/41/43/4a4a5b7