信息论与编码课件(第四章).ppt

《信息论与编码课件(第四章).ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章无失真信源编码电气信息工程学院4.1编码器及码的分类4.2等长码4.4等长信源编码定理4.5变长码4.6变长信源编码定理4.7霍夫曼码和其它编码方法4.8几种实用的无失真信源编码小结第四章无失真信源编码本章的重、难点内容1、理解等长码和等长信源编码定理2、理解和掌握变长码及变长码编码定理3、理解Huffman编码、费诺码、香农码4、了解几种实用的无失真信源编码方法，包括（MH编码、算术编码、LZ码）电气信息工程学院第四章无失真信源编码编码的意义：通信的基本问题：如何高速、高质地传送信息。高速和高质＝鱼和熊掌。编码讨论的问题：（1）质量

2、一定，如何提高信息传输速度（提高编码效率或压缩比）----信源编码（本章讨论问题）（2）信道传输速度一定，如何提高信息传输质量（抗干扰能力）----信道编码（下一章讨论）电气信息工程学院引言信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。电气信息工程学院引言信道编码：是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源

3、编码正好相反。密码：是以提高通信系统的安全性为目的的编码。通常通过加密和解密来实现。从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。电气信息工程学院引言信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。无失真信源编码定理：是离散信源/数字信号编码的基础；限失真信源编码定理：是连续信源/模拟信号编码的基础。电气信息工程学院引言信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。离散信源编码：独立信源编码，可做到无失真编码；连续信源编码：独立信源编码，只能做到限失真信源编码；相关信源编码：非独

4、立信源编码。电气信息工程学院4.1编码器及码的分类编码：信息的组织方式编码的实质：对信源的原始符号按一定的数学规则进行变换。编码的目的：信源编码：提高信息传输的有效性信道编码：提高信息传输的可靠性本章不考虑干扰问题电气信息工程学院4.1编码器及码的分类无失真编码器结构框图几个术语：信源符号：信源输入码符号(码元)：电气信息工程学院编码器信源码字符号集4.1编码器及码的分类码字Wi：由xj(j=1,2,…,r)组成的长度为li的序列，Wi与si一一对应。码字长度(码长)：Wi的长度li编码器：将信源符号si变换成Wi的设备信源编码信源编码：把

5、信源符号si映射为码字Wi的过程。无失真编码：映射是一一对应、可逆的。信源编码基本思想：尽可能缩短出现概率大的信源符号的码字电气信息工程学院4.1编码器及码的分类码的分类二元码：若码符号集X＝{0，1}，所得码字为一些二元序列，则称二元码。[在二元信道中传输]等长码（固定长度码）：若一组码中所有码字的长度都相同(即li=l,i=1,…,q)，则称为等长码。变长码：不满足等长码条件的码组称为变长码。电气信息工程学院4.1编码器及码的分类非奇异码：若一组码中所有码字都不相同(即所有信源符号映射到不同的码符号序列，不同信源符号可分辨)，则称为非奇

6、异码。奇异码：反之，若码组中含有相同的码字则为奇异码。同价码：若码符号集X：{x1,x2,…,xr}中每个码符号所占的传输时间都相同，则所得的码为同价码。电气信息工程学院4.1编码器及码的分类码的N次扩展码：电气信息工程学院信源符号出现概率码1码2s1P(s1)000s2P(s2)0101s3P(s3)10001s4P(s4)11111信源码字信源码字信源码字a100＝W1W1=B1a5...010＝W2W1=B1.......a16....111111=W4W4=B16a2001＝W1W2=B2a30001＝W1W3=B3a40111＝W

7、1W4=B44.1编码器及码的分类惟一可译码：若码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号序列，则此码称为惟一可译码（单义可译码）。否则就称为非惟一可译码或非单义可译码。表1中码1是惟一可译码，而码2是非惟一可译码。因为对于码2，其有限长的码符号序列能译成不同的信源符号序列。如码符号序列0010，可译成s1s2s1或s3s1，就不惟一了。问题：怎样才能做到无失真编码即惟一可译码？电气信息工程学院4.2等长码若要实现无失真编码，不但要求信源符号si与码字Wi是一一对应的，而且要求码符号序列的反变换也是惟一的。即所编的码必须

8、是惟一可译码。对于等长码来说，若等长码是非奇异码，则它的任意有限长N次扩展码一定也是非奇异码。等长非奇异码一定是惟一可译码。电气信息工程学院信源符号码1码2s10000s2011