信息论与编码第4章无失真信源编码

《信息论与编码第4章无失真信源编码》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第4章无失真信源编码前面的章节中，我们对信息问题从理论的角度进行了一些度量和分析。从本章开始，我们将讨论在信息论的基础上进行各种编码。本章主要介绍编码的基本概念，信源编码的基本思路与主要方法，以无失真、统计编码为主，期望通过本章学习能建立起信源压缩编码的基本概念。第4章编码类型（1）在不失真或允许一定失真条件下，如何提高信息传输速度，这种编码称为信源编码。根据是否允许失真，信源编码又可以分为无失真信源编码（当失真可以逼近于0时，在信息论中也当做无失真编码讨论）和限失真信源编码。（2）在信道受到干扰的情况下，如何增加信号的抗干扰能

2、力，同时又使得信息的有效传输率最大，达到这种目的的编码称为信道编码。它是为了对抗信道中的噪音和衰减，通过增加冗余，如校验码等，来提高抗干扰能力以及纠错能力。第4章编码类型（3）在可以监听的信道上如何进行安全的通信，使得在信道上监听的人也无法获取消息，需要进行加密。对应的加密转换方法称为加密编码。4.1编码器和相关概念为了分析方便和突出问题的重点，当研究信源编码时，我们把信道编码和译码看成是信道的一部分，从而突出信源编码。同样，在研究信道编码时，可以将信源编码和译码看成是信源和信宿的一部分，从而突出信道编码。对于加密编码也是如此。

3、简单地说，通信系统模型中的各种编码都是可选的，我们可以忽略其他编码，而专门讨论我们研究的那种编码。4.1.1码的分类图4-1信源编码器模型4.1.1码的分类图4-2码的分类4.1.1常用码的定义1.二元码和r元码,若码符号集为X={0;1}，所有码字都是一些二元序列，则称为二元码（BinaryCode）2.等长码,若一组码中所有码字的码长都相同，即li=l(i=1,2,…q)，则称为等长码（定长码，fixedlengthcode）3.变长码，若一组码组中所有码字的码长各不相同，则称为变长码（variablelengthcodes

4、）4.1.1常用码的定义4.非奇异码，若一组码中所有码字都不相同，则称为非奇异码（nonsingularcode，nonsigularcode）5.奇异码，若一组码中有相同的码字，则称为奇异码。该码可能具有什么用途，又有什么缺陷？6.唯一可译码7.非即时码和即时码8.分组码与非分组码4.1.2码树对于给定码字的全体集合C={W1,W2,…,Wq}，可以用码树来描述。码树有助于研究唯一可译码的判别。图4-3码树图4.1.3Kraft不等式利用码树可以判断给定的码是否为惟一可译码，但需要画出码树。在实际中，我们可以利用克拉夫特（又译

5、克劳夫特，Kraft）不等式，直接根据各码字的长度来判断惟一可译码是否存在，即各码字的长度应符合克拉夫特不等式：4.1.3Kraft不等式定理4-1Kraft定理：对于码符号为X={x1,x2,…xr}的任意唯一可译码，其码字为W1,W2,…Wq，所对应的码长为l1，l2，…，lq，则必定满足克拉夫特不等式定理4-2将码C中所有可能的尾随后缀组成一个集合F，当且仅当集合F中没有包含任一码字，则可判断此码C为唯一可译码。4.2定长编码定理4-3定长（等长）编码定理：由L个符号组成的、每个符号熵为HL(X)的无记忆平稳信源符号序列X

6、1X2X3…XL用KL个符号Y1Y2…YKL（每个符号有m中可能值）进行定长变码。对任意，只要则当L足够大时，必可使译码差错小于；反之，当时，译码差错一定是有限值，当L足够大时，译码几乎必定出错。4.2定长编码4.2定长编码例4-3设离散无记忆信源概率空间为信源熵为4.2定长编码自信息方差为4.2定长编码对信源符号采用定长二元编码，要求编码效率，无记忆信源有因此可以得到如果要求译码错误概率，则由此可见，在对编码效率和译码错误概率的要求不是十分苛刻的情况下，就需要个信源符号一起进行编码，这对存储和处理技术的要求太高，目前还无法实现

7、。4.3变长编码定理4-4香农单符号变长编码定理：若离散无记忆信源的符号熵为H(S)，每个信源符号用r进制码元进行变长编码，一定存在一种无失真编码（唯一可译编码）方法，其码字的平均长度满足：4.3变长编码定理4-5香农离散平稳无记忆序列变长编码定理，即：若对信源离散无记忆信源S的N次扩展信源SN进行编码，则总可以找到一种编码方法，构成惟一可译码，使信源S中每个信源符号所需的平均码长满足：4.3.1编码空间在信源编码的时候，我们可以如何使得编码最短，但是越短的编码，也容易造成唯一不可译。以异前缀编码为例，如果编的过短，会使得大量的

8、码字不可用，如果较长，则影响不大。为了便于理解，我们这里提出一种新概念-编码空间。4.3.1编码空间实际上它是一个相对量，是指一个编码占用的可以使用的编码的比例，考虑异前缀编码，显然一个二进制的编码，如果将0作为码字，所有以0开头的编码都不能再用，则有一半的编码