信息论与编码第5章.ppt

《信息论与编码第5章.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、1第5章　信息率失真函数与限失真编码信道编码定理虽然告诉我们，有噪声信道的无失真的编码似乎是可能的，但是，这里的无失真只能无限逼近于0，而无法达到0，除非编码分组的长度是无穷大，因此从这个角度，有噪声信道无失真的要求也是不可能的。然而在实际生活中，人们一般并不要求完全无失真恢复信息，通常要求在保证一定质量(一定保证度)的条件下再现原来的消息，也就是说允许失真的存在。2第5章　信息率失真函数与限失真编码不同的要求允许不同大小的失真存在，完全无失真的通信既不可能也无必要，有必要进行将失真控制在一定限度内的压缩编码，我们称为限失真编码。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的

2、理论基础。本章主要介绍信息率失真理论的基本内容及相关的编码方法。第5章　信息率失真函数与限失真编码如何进行这种限失真编码呢？考虑我们前面提出的问题，如果要将有10万位小数的1-100之间的数字进行压缩，我们可以采取四舍五入的方法，将这个数转换为只有10位小数的数值，由于小数点10位之后的数值都是微不足道的，所以这种压缩带来的失真并不大。我们可以理解为将一个集合中的元素映射为另外一个集合中的压缩，或者是映射为原集合中的一部分的元素。5.1失真测度5.1.1系统模型5.1.2失真度与平均失真度5.1.1系统模型通过前面的例子和讨论，我们可以建立研究限失真信源编码（有损压缩）的系统模型：信源发

3、出的消息X通过有失真的信源编码输出为Y，由于是有失真的编码，所以X和Y的元素不存在一一对应的关系，我们可以假设X通过一个信道输出Y，这种假想的信道我们称为试验信道。这样，我们就可以通过研究信道的互信息来研究限失真编码，而X和Y的关系也可以用转移概率矩阵（信道矩阵）来表示。5.1.1系统模型图5-1限失真编码模型除了描述输入输出的关系外，我们还关心如何才能限制失真的问题，因为这一切都是建立在限失真的要求之上的，既然要限制失真，就需要有关于失真的度量。5.1.2失真度与平均失真度如何来度量失真呢？我们先从最为简单的单个符号的信源的失真度量（distortionmeasure）开始，然后以此为基

4、础来建立更多符号的失真度量。1.单个符号失真度设有离散无记忆信源信源符号通过信道传送到接收端Y，信道的转移概率矩阵对于每一对(xi，yj)，指定一个非负的函数d(xi，yj)为单个符号的失真度或失真函数（distortion-function）。用它来表示信源发出一个符号xi，而在接收端再现yj所引起的误差或失真。失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素人为规定的。有时候未必能够证明为什么采用这个函数是合理的，其他的函数没有它好。我们假设发出一个符号，如果收到也是它，则失真为0，如果收到的不是它，而是其他的符号，则存在失真，失真函数大于0，即有：失真度

5、还可表示成矩阵的形式：[D]称为失真矩阵。它是n×m阶矩阵。（5-1）9均方失真：相对失真：误码失真：绝对失真：前三种失真函数适用于连续信源，后一种适用于离散信源。最常用的失真函数5.2信息率失真函数及其性质前面我们通过简单的分析指出，要进行最大限度的压缩，根据香农第一定理，压缩的极限为H(Y)=I(X;Y)。但是，我们必须考虑信息压缩造成的失真是在一定的限度内的，因此，这个平均互信息量应该在我们允许的失真范围内尽量小。从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的，对信息进行压缩的效果与失真也是相

6、关的。5.2信息率失真函数及其性质5.2.1信息率失真函数的定义5.2.2信息率失真函数的性质125.2.1信息率失真函数的定义为了讨论在允许一定失真D的情况下，信源可以压缩的极限应该是一个与失真相关的函数，我们可以定义信息率失真函数（informationratedistortionfunction）为这一极限，简称率失真函数，记为R(D)。5.2.1信息率失真函数的定义在信源的概率分布（P(X)给定）和失真度D给定以后，PD是满足保真度准则的试验信道集合，即我们把X和Y当做信道的输入输出的话，这个信道集合中的信道的决定性的参数就是信道传递（转移）概率p(yj

7、xi)。5.2.1信息率失

8、真函数的定义在信源和失真度给定以后，信道的输入和输出的平均互信息I(X;Y)是信道传递概率p(yj

9、xi)的下凸函数，所以在这些满足保真度准则的PD集合中一定可以找到某个试验信道，使I(X;Y)达到最小，而这个最小值可以从直观上理解为，并且可以被证明为在保真度准则下的信源压缩极限，即信息率失真函数R(D)，所以（5-12）5.2.1信息率失真函数的定义或者可以直接地表述为：其中，R(D)的单位是奈特/信源符号或比特/信源