信息论第三章.ppt

《信息论第三章.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一节编码的定义第二节定长编码定理第三节变长编码定理第四节最佳编码引言第3章无失真信源编码10/7/20211★本章大纲1、信息论研究的主要问题。2、狭义信息论的定义。3、信息、消息和信号的区别和联系。4、通信系统的物理模型及各个部分的作用。10/7/20212引言编码分为信源编码和信道编码，其中信源编码又分为无失真信源编码和限失真信源编码。无失真信源编码：适用于离散信源或数字信号。限失真信源编码：主要用于连续信源或模拟信号，如语音、图像等信号的数字处理。10/7/20213香农信息论三大定理:1.第一极限定理:无失真信源

2、编码定理.2.第二极限定理:信道编码定理（包括离散和连续信道）.3.第三极限定理:限失真信源编码定理.10/7/20214由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。具体说，就是针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。信源编码的主要任务是什么?10/7/20215信源编码的基本途径是什么?信源编码的基本途径有两个，一是使序列中的各个符号尽可能地互相独立，即解除相关性；二是使编码中各个符号出现的概率尽可能地相等，即概率

3、均匀化。信源编码的基础是什么?信源编码的基础是：两个编码定理，即无失真编码定理和限失真编码定理。10/7/20216编码定理证明：（1）必存在一种编码方法，使代码的平均长度可任意接近但不能低于符号熵。（2）达到这目标的途径，就是使概率与码长匹配。说明：（1）无失真编码或可逆编码只适用于离散信源。（2）对于连续信源，编成代码后就无法无失真地恢复原来的连续值，因为后者的取值可有无限多个。此时只能根据限失真编码定理进行限失真编码。10/7/20217什么分组码？设信源消息为符号序列Xi，，序列中的每个符号取自于符号集A，。第一节

4、编码的定义信源编码器L长序列K长码字图3-1-1信源编码器10/7/20218而每个符号序列Xi依照固定的码表映射成一个码字Yi，这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。10/7/20219设:信源输出的序列长度为1，即信源符号集信源概率空间为：二元信道的信道基本符号集为{0，1}。若将信源X通过一个二元信道传输，就必须把信源符号xi变换成由0，1符号组成的码符号序列，即编码。可用不同的码符号序列，如表3－1-1所示。10/7/202110不同的码符号序列，如表3-1-1所示。

5、信源符号ai信源符号出现概率p(ai)码表码1码2a1p(a1)000a2p(a2)0101a3p(a3)10001a4p(a4)11111码可分为两类：①固定长度的码，码中所有码字的长度都相同，如表3-1-1中的码1就是定长码。②可变长度码，码中的码字长短不一，如表中码2就是变长码。10/7/202111（1）奇异码和非奇异码若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。如表3-1-2中的码1是奇异码，码2是非奇异码。分组码的一些直观属性10/7/202112表3-1-2码的不同属性信源符号ai符号出现概

6、率p(ai)码1码2码3码4a11/20011a21/411101001a31/80000100001a41/811011000000110/7/202113（2）唯一可译码任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码。例如{0，10，11}是一种唯一可译码。因为任意一串有限长码序列，如100111000，只能被分割成10，0，11，10，0，0。任何其他分割法都会产生一些非定义的码字。显然，奇异码不是唯一可译码，而非奇异码中有非唯一可译码和唯一可译码。表3-1-2中码3是唯一可译码，但码2不是唯

7、一可译码。10/7/202114唯一可译码中又分为非即时码和即时码：如果接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码，这样的码叫做非即时码。表3-1-2中码3是非即时码，而码4是即时码。码4中只要接收到符号1就表示该码字已完整，可以立即译码。10/7/202115即时码：只要收到符号就表示该码字已完整，可以立即译码。即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时叫做异前缀码。在延长码中，有的码是唯一可译的，主要取决于码的总体结构，如表3-1-2中码3的延长码就是

8、唯一可译的。10/7/202116分组码的一些直观属性码{非分组码分组码{奇异码非奇异码{非唯一可译码唯一可译码{非即时码即时码（非延长码）10/7/202117通常可用码树来表示各码字的构成A010101010101010101010101010101（a)二进制码树码树图10/7/202118012