信息论与编码技术 chap5 信源编码

《信息论与编码技术 chap5 信源编码》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第五章信源编码信息通过信道传输到信宿的过程即为通信。要做到既不失真又快速地通信，需要解决两个问题：在不失真或允许一定失真条件下，如何提高信息传输速度----这是本章要讨论的信源编码问题.在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大----这是下章要讨论的信道编码问题.一般来说，抗干扰能与信息传输率二者相互矛盾。然而编码定理已从理论上证明，至少存在某种最佳的编码能够解决上述矛盾，做到既可靠又有效地传输信息。信源虽然多种多样，但无论是哪种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源存在冗余度。信源编码的目的就是要减少冗余，提高编码效率

2、。信源编码的基本途径有两个:一是编码后使序列中的各个符号之间尽可能地互相独立，即解除相关性----方法包括预测编码和变换编码.二是使编码后各个符号出现的概率尽可能相等，即均匀化分布----方法主要是统计编码.信源编码常分为无失真信源编码和限失真信源编码，前者主要用于文字、数据信源的压缩，后者主要用于图像、语音信源的压缩。本章主要介绍信源编码的基本思路与主要方法，以无失真、统计编码为主，期望通过本章学习能建立起信源压缩编码的基本概念。5.1编码器及相关概念为了分析方便和突出问题的重点，当研究信源编码时，我们把信道编码和译码看成是信道的一部分，从而突出信源编码。同样，在研究信道编码

3、时，可以将信源编码和译码看成是信源和信宿的一部分，从而突出信道编码。5.1.1码的分类一.编码器模型由于信源编码可以不考虑抗干扰问题，所以它的数学模型比较简单。下图为一个编码器模型:输入是信源符号集:x为编码器所用的编码符号集，包含r个元素{}，称为码符号(码元).由码符号组成的输出序列称为码字.其长度称为码字长度或码长，全体码字的集合C称为码或码书.编码器将信源符号集中的信源符号（或长为N的信源符号序列）变成由码符号组成的长为的与信源符号一一对应的输出序列。即:二.码的分类:对于编码器而言，根据码符号集合X中码元的个数不同以及码字长度是否一致，有以下一些常用的编码形式：(1)

4、二元码和r元码若码符号集，编码所得码字为一些适合在二元信道中传输的二元序列，则称二元码。二元码是数字通信与计算机系统中最常用的一种码。若码符号集共有r个元素，则所得之码称为r元码.(2)等长码若一组码中所有码字的长度都相同----（即），则称为等长码.(3)变长码若一组码中码字的码长各不相同（即码字长度不等），则称为变长码.如表中“编码1”为等长码，“编码2”为变长码。信源符号si符号出现概率p(si)编码1编码2s1p(s1)000s2p(s2)0101s3p(s3)10001s4p(s4)11101(4)分组码若每个信源符号按照固定的码表映射成一个码字，则称为分组码。否则就

5、是非分组码.如果采用分组编码方法，需要分组码具有某些属性，以保证在接收端能够迅速而准确地将接收到的码译成与信源符号对应的消息。下面讨论分组码的一些直观属性。1）非奇异码和奇异码若一组码中所有码字都不相同(即所有信源符号映射到不同的码符号序列)，则称为非奇异码。反之，则为奇异码。如表中的“编码2”是奇异码，其他码是非奇异码。概率信源符号编码1编码2编码3编码4编码51/20000011/4010110011/8101001100011/811101111100012）同价码若码符号集X：{}中每个码符号所占的传输时间都相同，则所得的码为同价码。我们一般讨论同价码，对同价码来说等长

6、码中每个码字的传输时间相同，而变长码中每个码字的传输时间就不一定相同。3）码的N次扩展码假定某一码，它把信源中的符号一一变换成码C中的码字，则码C的N次扩展码是所有N个码字组成的码字序列的集合。例如：若码满足：则码C的N次扩展码集合,其中：即码C的N次扩展码中，每个码字与信源的N次扩展信源中的每个信源符号是一一对应的：4）惟一可译码若任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号序列，则此码称为惟一可译码（或称单义可译码）。否则就称为非惟一可译码或非单义可译码。若要使某一码为惟一可译码，则对于任意给定的有限长的码符号序列，只能被惟一地分割成一个个的码字。例如：对于二

7、元码，当任意给定一串码字序列，例如“10001101”，只可唯一地划分为1,00,01,1,01，因此是惟一可译码；而对另一个二元码，当码字序列为“01001”时，可划分为0,10,01或01,0,01，所以是非惟一可译的。对惟一可译码又分为即时码和非即时码：如果在接收端收到一个完整的码字后，就能立即进行译码，这样的码叫做即时码；而在接收端收到一个完整的码字后，还需等下一个码字接收后才能判断是否可以译码，这样的码叫做非即时码。即时码又称为非延长码，对即时码而言，在码本中任意一个码字都不是其它