信息论-信道容量总结-(2).ppt

《信息论-信道容量总结-(2).ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章信道容量在相同频带下以时间换取信噪比：3.5连续信道信道与信息传输要求的匹配第三章信道容量在相同信噪比下以频带换取时间：3.5连续信道信道与信息传输要求的匹配第三章信道容量在相同的持续时间下以带宽换取信噪比：3.5连续信道信道与信息传输要求的匹配第三章信道容量在相同的持续时间下以带宽换取信噪比：3.5连续信道信道与信息传输要求的匹配第三章信道容量在相同的持续时间下以带宽换取信噪比：3.5连续信道信道与信息传输要求的匹配第三章信道容量信道编码定理：若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率R

2、到一种编码，当L足够长时，译码差错概率Pe<ε，ε为任意大于零的正数。反之，当R>C时，任何编码的Pe必大于零，当L→∞，Pe→1。信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。连续信道也有类似结论。3.6信道编码定理第三章信道容量•香农在证明这一结论时采用了出人意料的方法•通常想法：先要构造一个理想的好码，然后计算这一码用于传输时的误码率。但这两点都很难实现•构造具有理想性能的好码是一个

3、极其复杂的问题，在当时根本无望解决。•在N很大时计算这一理想好码在理想译码器或最大似然译码器下的误码率也是及其困难的。•香农在证明过程中巧妙的回避了这两个难题，而是按照随机编码和联合典型译码方法进行论证。3.6信道编码定理第三章信道容量香农第二定理指出，若RC，则可以使传输错误概率任意小的编码不存在。它从理论上证明平均错误译码概率Pe趋于零、信道信息传输速率R无限接近于信道容量C的抗干扰信道编码是存在的。但从实用观点来看，理论的证明尚不能令人满意。因为在证明的过程中是完全“随机地”去

4、选择一个码。这个码是完全无规律的，因此，就无法具体构造这个码，也就无法实现和应用。但人们在理论指导下，赋予码以各种形式的代数结构，出现了代数编码、卷积码等。平均误码率Pe：指接收的错误符号数与接收的总符号数的比值，这里的错误符号是指无论用什么方法都不能纠正的那些码。在工程上，Pe通常指二进制信道的误比特率，有时也称误码率。3.7信道编码定理的应用第三章信道容量自香农给出信道编码定理以来，引起了人们对信道编码的极大兴趣，但香农只是证明了满足这种特性的码的存在性，还不能按照其证明方法得到好码。由于随机编码所得到的码集很大，通过搜索得到好码的方法

5、在实际上很难实现，而且即使找到其中的好码，这种码的码字也是好无结构的，这意味着译码时只能用查表的方法，在N很大时，这一译码表所需的存储量也是很难被接受的。因此真正实用的信道码还需要通过各种数学工具来构造，使码具有很好的结构性以便于译码。3.7信道编码定理的应用第三章信道容量从香农第一和第二定理可以看出，要做到有效和可靠的传输信息，我们可以将通信系统设计成两部分的组合，即信源编码和信道编码两部分。分两步进行处理，其信源压缩编码只与信源有关，不依赖于信道；而信道编码只与信道有关，不依赖于信源。这种分两步处理的方法是否与一步编码处理一样好呢？这样

6、分两步处理是否会带来某些损失呢？根据数据处理定理，如果进行处理的是一一对应的变换，就不会增加任何新的信息损失。可以证明，信源通过信道传输，有效和可靠地传输的充要条件是HC，则错误概率远离零，即不可能在信道中以任意小的错误概率发送该随机序列。第三章信道容量信道达到充分利用时，输入和输出符号的概

7、率分布唯一吗？达到信道容量C的时候，输入字母分布唯一吗？反例：a1a2b1b2令则输入任何分布，输出都达到C又一例：令输入分布(0.5,0,0.5,0）令输入分布(0.25,0.25,0.25,0.25）输出字母的唯一性?定理：达到信道容量时的输出分布是唯一的。任何导致这一输出分布的输入分布都是最佳分布，可以使互信息达到信道容量。证明见朱雪龙2001版信息论p132页。例如：对称信道，达到信道容量时输出唯一（等概）§5.3:离散无记忆信道及其信道容量-40输入字母在什么条件下唯一？?定理：在达到信道容量时，如果输入概率分布中具有零概率的字母

8、总数达到最大，则此时非零概率可被唯一地确定，且非零概率分量的数目不超过输出字母的总数。定理不是说具有最大数目零概率的最佳分布是唯一的。定理只说明概率分布由同一组包含零的数字的不同