信息论与编码 曹雪虹 PPT 第第5章

《信息论与编码 曹雪虹 PPT 第第5章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章　信源编码编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真。一般称无失真信源编码定理为第一极限定理；信道编码定理（包括离散和连续信道）称为第二极限定理；限失真信源编码定理称为第三极限定理。1第5章　信源编码由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。2第5章　信源编码信源编码的基本途径有两个：使序列中的各个符号尽可能地互相独立，即解除相关性；使编码中各个符号出现的概率尽可能地相等，即概率均匀化。3第5章　信源编码信源编码的基础是信息论中的两个编码定理：无失真编码定理限失真

2、编码定理无失真编码只适用于离散信源对于连续信源，只能在失真受限制的情况下进行限失真编码45.1编码的定义信源编码器信道码表图5-1信源编码器示意图55.1编码的定义信源编码是指信源输出符号经信源编码器编码后转换成另外的压缩符号无失真信源编码：可精确无失真地复制信源输出地消息65.1编码的定义将信源消息分成若干组，即符号序列xi，xi＝(xi1xi2…xil…xiL)，xilA={a1，a2，…，ai，…，an}每个符号序列xi依照固定码表映射成一个码字yi，yi＝(yi1yi2…yil…yiL)，yilB={b1，b2，…，bi，…，bm}这样的

3、码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。75.1编码的定义如图5-1所示，如果信源输出符号序列长度L＝1，信源符号集A(a1，a2，…，an)信源概率空间为若将信源X通过二元信道传输，就必须把信源符号ai变换成由0，1符号组成的码符号序列，这个过程就是信源编码85.1编码的定义不同的码符号序列，如表5-1所示。表5-1变长码与定长码信源符号ai信源符号出现概率p(ai)码表码1码2a1p(a1)000a2p(a2)0101a3p(a3)10001a4p(a4)1111195.1编码的定义码奇异码非分组码分组码非

4、奇异码非唯一可译码非即时码即时码(非延长码)唯一可译码105.1编码的定义表5-2码的不同属性信源符号ai符号出现概率p(ai)码1码2码3码4a11/20011a21/411101001a31/80000100001a41/8110110000001115.1编码的定义通常可用码树来表示各码字的构成010101010101010101010101010101二进制码树125.1编码的定义012012012012012012三进制码树135.1编码的定义唯一可译码存在的充分和必要条件各码字的长度Ki应符合克劳夫特不等式：145.1编码的定义例：设二进

5、制码树中X(a1，a2，a3，a4)，K1＝1，K2＝2，K3＝2，K4＝3，应用上述判断定理：因此不存在满足这种Ki的唯一可译码。155.1编码的定义a1=1010101a2=01a3=011a4=000{1，01，001，000}惟一可译码；{1，01，101，000}不是惟一可译码；均满足克劳夫特不等式165.2无失真信源编码信源输出X＝(X1X2…Xl…XL)，Xl{a1，a2，…，ai，…，an}编码为Y＝(Y1Y2…Yk…YkL)，Yk{b1，b2，…，bj，…，bm}。要求能够无失真或无差错地译码，同时传送Y时所需要的信息率最小17

6、5.2无失真信源编码无失真的信源编码定理定长编码定理变长编码定理185.2无失真信源编码由L个符号组成的、每个符号的熵为HL(X)的无记忆平稳信源符号序列X1X2…Xl…XL，可用KL个符号Y1，Y2，…，Yk，…，（每个符号有m种可能值）进行定长编码。对任意>0，>0，只要则当L足够大时，必可使译码差错小于；反之，当时，译码差错一定是有限值，而L足够大时，译码几乎必定出错195.2无失真信源编码定长编码定理说明，码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真，当然条件是L足够大。205.2无失真信源编码反之，当时，不可能

7、构成无失真的编码，也就是不可能做一种编码器，能使收端译码时差错概率趋于零。时，则为临界状态，可能无失真，也可能有失真。215.2无失真信源编码式中为自信息方差为一正数。当和均为定值时，只要L足够大，Pe可以小于任一正数。即，225.2无失真信源编码当信源序列长度L满足时，能达到差错率要求235.2无失真信源编码在连续信源的情况下，由于信源的信息量趋于无限，显然不能用离散符号序列Y来完成无失真编码，而只能进行限失真编码。245.2无失真信源编码定义为编码效率，即信源的平均符号熵为H(X)，采用平均符号码长为来编码，所得的效率。编码效率总是小于1，且

8、最佳编码效率为255.2无失真信源编码编码定理从理论上阐明了编码效率接近1的理想编码器的存在性，它使输出符号