资源描述：
《信息论与编码无失真编码课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第4章离散无记忆信源无失真编码1第二章简单回顾第二章讨论的是信源。重点是信源的统计特性和数学模型，以及各类信源（离散无记忆单符号信源、离散有记忆单符号信源、连续信源、离散信源序列）的信息测度-熵及其性质，给出了自信息量、互信息量、熵、冗余度等的概念、定义、性质以及它们之间的关系。2主要内容4.1信源编码概论4.2码的唯一可译性4.3定长编码定理和定长编码方法4.4变长编码定理4.5变长编码方法3通信的实质是信息的传输。而高速度、高质量地传送信息是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快
2、速呢？这就需要解决两个问题：第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息；第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。为了解决这两个问题，就要引入信源编码和信道编码。4.1信源编码概论4一般来说，提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提高信息传输率常常又会使抗干扰能力减弱。二者是有矛盾的。然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。这些结论对各
3、种通信系统的设计和估价具有重大的理论指导意义。5信源编（译）码和信道编（译）码信源发出的消息序列通常不能直接送给信道传输，需要经过两次变换，分别称为信源编码和信道编码，然后送给信道传送，信道输出经过两次反变换，即信道译码和信源译码，就可送给信宿接受了。噪声信道信源编码信源信宿等效无噪信道信源译码信道编码信道译码信息传输系统编码和译码示意图传输之前的两次变换：信源编码、信道编码。传输之后的两次反变换：信道译码、信源译码。变换与反变换是成对出现的。采取适当信道编码和译码措施后，可使信道传送的差错率降到允许的范围之内，因此，图中虚
4、框部分可近似地视为一个等效的无损确定信道，简称为无噪信道，这一点是我们讨论信源编码的前提。1、基本概念7信源编码分类：无失真编码、有失真编码。无失真编码：只对信源的冗余度进行压缩，不会改变信源的熵，又称冗余度压缩编码，它能保证码元序列经译码后能无失真地恢复成信源符号序列。有失真编码：又称熵压缩编码，将在第6章讨论。无损确定信道（等效）信源编码信源信宿信源译码无失真信源编码的作用：（1）符号变换：使信源的输出符号与信道的输入符号相匹配；（2）冗余度压缩：使编码之后的新信源概率分布均匀化，信息含量效率等于或接近于100%。89信
5、源编码器码表信源信道信源编码:将信源输出符号,经信源编码器后变换成另外的压缩符号,然后将压缩后信息经信道传送给信宿信源符号之间存在分布不均匀和相关性,使得信源存在冗余度,信源编码的主要任务就是减少冗余,提高编码效率。针对信源输出符号序列的统计特性,寻找一定的方法把信源输出符号序列变换为最短的码字序列。XY9下图是一个信源编码器.它的输入是信源符号集S={s1,s2,…,sq}，同时存在另一符号集X={x1,x2,…,xr}，一般来说，元素xj是适合信道传输的，称为码符号（或者码元,码符）。编码器的功能就是将信源符号集中的符号
6、si（或者长为N的信源符号序列）变换成由xj(j=1,2,…,r)组成的长度为li的一一对应的序列。从理论上讲，编码实现的是序列到序列的映射。在具体实现时，要考虑到时延的限制和计算复杂性的限制。为此，编码实现时通常将信源输出序列分组后按一定的映射顺序依次逐步完成。根据不同的分组方式及其随后的映射关系，可以构成不同结构的码，如分组码，树码。编码器输出图无失真信源编码器1011ASCII码是人们最为熟悉一种信源编码结果，它是由两位16进制数00~FF构成的码字集合，与一些控制字符（回车，换行等）、可打印字符（0~9，A~Z，a~
7、z，+，–，*，/等）以及图形符号一一对应。通常称这些字符、图符为ASCII字符。ASCII（AmericaStandardCodeII）码11图ASCII码编码器的模型字符集合：ASCII字符代码集合：16进制数信道基本符号集合：ASCII码编码器：产生它们之间相互关系的装置12中文电报的基本编码方法是将每一个汉字或字符用4位十进制数来表示，每一个十进制数再用5位二进制数来表示。例如，“信息论”三个字的电码分别是(0207)，(1873)，(6158)。以“信”为例，首先将它编成4位十进制的码0207，再将它们变换成20位
8、二进制的码:01101110010110111100，由此可见，其编码过程为汉字电码二进制码字组中文电报的编码方法13从汉字的电报码可以看出如下问题：（1）若每个汉字都用4位十进制数来表示，则汉字电报电码最多只能有1万个（0000~9999），将汉字字符分为常用和非常用两大类，将常用汉字字
