信息论与编码第3章信道与信道容量课件.ppt

《信息论与编码第3章信道与信道容量课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章信道与信道容量信道分类和表示参数离散单个符号信道及其容量离散序列信道及其容量连续信道及其容量1普通高等教育“十五”国家级规划教材《信息论与编码》3.1信道分类和表示参数信道分类用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固参、时变参噪声种类：随机差错、突发差错输入输出特点：离散、连续、半离散半连续、波形信道2普通高等教育“十五”国家级规划教材《信息论与编码》3.1信道分类和表示参数信道参数信道种类3普通高等教育“十五”国家级规划教材《信息论与编码》3.1信道分类和表示参

2、数二进制对称信道（BSC）4普通高等教育“十五”国家级规划教材《信息论与编码》3.1信道分类和表示参数离散无记忆信道5普通高等教育“十五”国家级规划教材《信息论与编码》3.1信道分类和表示参数离散输入、连续输出信道6普通高等教育“十五”国家级规划教材《信息论与编码》3.1信道分类和表示参数波形信道7普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量信息传输率信道在单位时间内平均传输的信息量定义为信息传输速率R=I(X;Y)=H(X)－H(X/Y)比特/符号Rt=I(X;Y)/t比特

3、/秒信道容量比特/符号（bits/symbol或bits/channeluse）8普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量无干扰离散信道的信道容量9普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量X、Y一一对应C＝maxI(X;Y)＝logn多个输入变成一个输出C＝maxI(X;Y)＝maxH(Y)一个输入对应多个输出C＝maxI(X;Y)＝maxH(X)10普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量对

4、称DMC信道定义输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称的DMC信道如果输入、输出都对称11普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量对称DMC信道例子12普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量输入对称输出对称13普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量对称信

5、道容量14普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量Eg.求信道容量15普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量Eg.求信道容量信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例16普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量二进制对称信道容量C＝1－H（）17普通高等教育“十五”国

6、家级规划教材《信息论与编码》3.2离散单个符号信道及其容量串联信道C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)…18普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量19普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量信道容量I(X;Y)=1-H()，I(X;Z)=1-H[2(1-)]20普通高等教育“十五”国家级规划教材《信息论与编码》3.2离

7、散单个符号信道及其容量准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道21普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量准对称DMC信道容量对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量22普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量Eg.求信道容量方法一：信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－

8、信道的输出符号有三个，用b1、b2、b3表示23普通高等教育“十五”国家级规划教材《信息论与编码》3.2离散单个符号信道及其容量方法二当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4C=H(Y)-H(Y/X)=0.036bit/符号方法三将转移概率矩阵划分成若干个互不相交的对称的子集n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一