信息论与编码原理 信源编码课件.ppt

《信息论与编码原理 信源编码课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章　信源编码编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真。一般称无失真信源编码定理为第一极限定理；信道编码定理（包括离散和连续信道）称为第二极限定理；限失真信源编码定理称为第三极限定理。1普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著第5章　信源编码由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。2普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著第5章　信源编码信源编码的基本途径有两个：使序列中的各个符号尽可能地互相独立，即解除相关性；使编码中各个符号出现的概率尽可

2、能地相等，即概率均匀化。3普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著第5章　信源编码信源编码的基础是信息论中的两个编码定理：无失真编码定理限失真编码定理无失真编码只适用于离散信源对于连续信源，只能在失真受限制的情况下进行限失真编码4普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著第5章　信源编码本章讨论离散信源编码，首先从无失真编码定理出发，重点讨论以香农码、费诺码和霍夫曼码为代表的最佳无失真码。然后介绍了限失真编码定理。最后简单介绍了一些其它常用的信源编码方法。5普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的

3、定义信源编码器信道码表图5-1信源编码器示意图6普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定义信源编码是指信源输出符号经信源编码器编码后转换成另外的压缩符号无失真信源编码：可精确无失真地复制信源输出地消息7普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定义将信源消息分成若干组，即符号序列xi，xi＝(xi1xi2…xil…xiL)，xilA={a1，a2，…，ai，…，an}每个符号序列xi依照固定码表映射成一个码字yi，yi＝(yi1yi2…yil…yiL)，yilB={b1，b2，…，bi，…，bm}这样

4、的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。8普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定义如图5-1所示，如果信源输出符号序列长度L＝1，信源符号集A(a1，a2，…，an)信源概率空间为若将信源X通过二元信道传输，就必须把信源符号ai变换成由0，1符号组成的码符号序列，这个过程就是信源编码9普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定义码可分为两类：一、固定长度的码，码中所有码字的长度都相同，如表5-1中的码1就是定长码二、可变长度码，码中的码字长短不一，如表中码2就

5、是变长码。10普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定义不同的码符号序列，如表5-1所示。表5-1变长码与定长码信源符号ai信源符号出现概率p(ai)码表码1码2a1p(a1)000a2p(a2)0101a3p(a3)10001a4p(a4)1111111普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定义（1）奇异码和非奇异码若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。如表5-2中的码1是奇异码，码2是非奇异码。12普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定

6、义表5-2码的不同属性信源符号ai符号出现概率p(ai)码1码2码3码4a11/20011a21/411101001a31/80000100001a41/811011000000113普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定义（2）唯一可译码任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码14普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定义唯一可译码中又分为非即时码和即时码：如果接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码，这样的码叫做非即时

7、码。15普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定义即时码：只要收到符号就表示该码字已完整，可以立即译码。即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时叫做异前缀码。16普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定义码奇异码非分组码分组码非奇异码非唯一可译码非即时码即时码(非延长码)唯一可译码17普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著5.1编码的定义通常可用码树来表示各码字的构成010101010101010101010