《编码理论简介》PPT课件

《《编码理论简介》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2讲编码理论简介编码理论的基本问题编码理论的发展历史编码理论的内容和目的编码理论的课后作业完编码理论的基本问题如何提高一般通信系统的有效性和可靠性如何提高加密通信系统的安全性编码问题可以分为三类：信源编码、信道编码、密码编码一般通信系统模型通信系统：电报、电话、电视、广播、遥测、遥控、雷达和导航等通信系统都可以看作信息传输系统：信源编码器信道译码器信宿噪声源信号信号+干扰干扰信道编码信源编码信源译码信道译码加密通信系统模型信源信源编码信道编码信道信道译码信源译码信宿加密编码加密译码噪声源什么是信源编码信源编码的主要目标是提高通信系统的有效性，它通过

2、对信源输出的消息进行适当的变换和处理，以达到提高传输效率的目的经典信源编码方法主要依据信源本身的固有统计特性现代编码压缩技术则注重对人类感知特性的利用，使得编码效率得以极大提高信源编码要求尽量去掉冗余信息什么是信道编码信道编码的主要目标是研究如何提高信息传送的可靠性，它通过对信源编码进行适当的变换和处理使其具有自动检错和纠错功能信道中的干扰使通信质量下降，也就是使信息传送不可靠。对于模拟信号，表现在收到的信号的信扰比下降；对于数字信号，表现在误码率增大信道编码需要适当增加冗余信息什么是密码编码密码编码是通信系统中的另一类编码问题，它的目的是通过加密或

3、隐藏防止非授权用户对重要或机密信息的窃取、伪造和篡改，以保证通信的安全性、真实性和完整性发送端的明文信息经过编码后成为密文，当授权者收到后，可用已有的密钥正确地译成明文；对于非授权者，因没有密钥而无法取得该信息，从而保证通信的安全性编码理论的发展历史信源编码的发展历史信道编码的发展历史密码编码的发展历史信源编码的发展历史无失真信源编码的研究限失真信源编码的研究现代信源编码方法的研究无失真信源编码的研究无失真信源编码适用于离散信源或数字信号，如文本数据无失真信源编码不适用于连续信源或模拟信号，如语音图像等信号的数字处理在概率特性已知条件下的无失真信源编

4、码在概率特性未知条件下的无失真信源编码已知概率特性的无失真信源编码1948年，无失真信源编码定理，香农编码1952年，费诺(Fano)码，霍夫曼码(Huffman)1956年，麦克米伦(McMillan)证明了惟一可译码的克拉夫特(Kraft)不等式1968年，埃利斯(Elias)，香农-费诺码1976年，里斯桑内(Rissanen)，算术编码1982年，里斯桑内和兰登（Langdon），算术编码系统化，省去乘法无失真信源编码定理香农第一定理：必然存在一种编码方法，使码的平均长度可任意接近但不能低于信息熵克拉夫特(Kraft)不等式其中r是码元个数，

5、q是码的个数，ni是码长码元个数的负码长幂之和不超过1未知概率特性的无失真信源编码这时对信源进行的编码称为通用编码20世纪70年代末，以色列学者兰佩尔(A.Lempel)和奇费(J.Ziv)提出一种语法解析码，习惯上简称LZ码1977年他们首先提出这种方法，并于1978年作了改进，分别称为LZ77和LZ78算法1984年，韦尔奇（T.A.Welch)将LZ78算法修改成一种实用的算法，后定名为LZW算法。1990年，贝尔（T.C.Bell）做了一系列变化和改进，现在LZ码被广泛应用于文本数据压缩限失真信源编码的研究通过引入失真，对连续信源进行编码限失

6、真信源编码实际上就是最佳量化问题，它的研究比信道编码和无失真信源编码落后约10年左右1948年香农在其论文中体现了率失真函数的思想1959年香农提出率失真函数，限失真信源编码定理1971年伯格尔《信息率失真理论》限失真信源编码就是在保证平均失真小于允许失真D的条件下，如何实现最佳编码率R(D)率失真函数R(D)简介平均互信息量I(U;V)是信源分布P(U)={p(ui)}和信道矩阵P(V

7、U)={p(vj

8、ui)}的函数，即：设D为允许失真度，对给定信源分布P(U)，如果把信道矩阵P(V

9、U)限定在允许失真信道集合BD内选取，那么I(U;V)所能逼近

10、的最小值就是率失真函数:限失真信源编码定理香农第三定理：在信息传输率R>R(D)时，只要有足够的码长，则必然存在一种编码方法，使译码平均失真可以任意接近允许失真D。其中R(D)是率失真函数，也就是最佳编码率现代信源编码方法的研究寻找现有压缩编码的快速算法寻找新颖高效的现代压缩方法，比如：分形编码、小波编码神经网络编码，DPCM编码模型编码（ModelBasedCoding）信道编码的发展历史信道编码理论的研究信道容量分析的研究信道编码方法的研究网络信息理论的研究信道编码理论的研究1948年，香农信道编码定理1952年费诺(R.M.Fano)证明费诺不

11、等式和香农信道编码逆定理1957年沃尔夫维兹证明信道编码强逆定理1961年费诺描述分组码中码率、码长和错误率