有关信息率失真函数的基本概念

《有关信息率失真函数的基本概念》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第4章信息率失真函数2021/7/191信息率失真函数主要内容：限失真信源编码定理信息率失真函数保真度准则下的信源编码定理教学基本要求：掌握率失真函数的定义、性质、计算掌握保真度准则下的信源编码定理重点和难点：率失真函数(离散信源，连续信源)的计算保真度准则下的信源编码定理2021/7/192本章主要内容4.1基本概念4.2离散无记忆信源R(D)的计算4.3连续无记忆信源的R(D)的计算2021/7/193理论上“消息完全无失真传送”的可实现性信道编码定理：无论何种信道，只要H(X)=<信息速率R=<信道容量C总能找到一种编码，使在信道上能以任意小的

2、错误概率和无限接近于C的传输速率来传送信息。反之，若R>C则传输必失真。实际上“消息完全无失真传送”的不可实现性要做到无失真信源编码，要求H(X)

3、有一些失真，接电话的人也能听懂。放电影：理论上需要无穷多幅静态画面，由于人眼的视觉暂留性，实际上只需要每秒放映24幅静态画面。信息率失真理论——信息率失真函数香农定义了信息率失真函数R(D)定理指出：在允许一定失真度D的情况下，信源输出的信息率可以压缩到R(D).2021/7/195信息率失真函数极小值问题I(X;Y)是P（X）和P（Y/X）的二元函数。在讨论信道容量时：固定P（Y/X）,I(X;Y)是P（X）的函数。离散情况下，I(X;Y)是的上凸函数，因此必有I(X;Y)的极大值。在讨论信息速率时：固定,I(X;Y)是的下凸函数，因此必有I(X;

4、Y)的极小值。但是若X和Y统计独立，即这样极小值就变成0，此时极小值就没有意义了。引入一个失真函数R(D)，计算在失真度D一定的情况下，信息率R的极小值2021/7/196信息率与失真的关系信道中固有的噪声和不可避免的干扰，使信源的消息通过信道传输后造成误差和失真。误差或失真越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越少，信道传输消息所需的信息率也越小。描述失真度大小和信息速率关系的定理称为：保真度准则下的信源编码定理，也叫信息率失真理论。信息率失真理论的应用：信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。202

5、1/7/1974.1主要内容失真函数平均失真信息率失真函数信息率失真函数的基本性质2021/7/198失真函数由于信息率与失真有关，为了定量地描述信息率和失真的关系，必须先规定失真的测度标准。即失真函数，失真函数用来表示信源接收到的消息和发送的消息之间的误差。具体地：每一对，指定一个非负函数称为单个符号的失真度（失真函数），它表示信源发出一个符号，在接收端收到所引起的误差或失真。distortion2021/7/199失真函数失真函数其它表示收发误差的失真函数：平方误差失真函数或均方失真函数绝对失真函数相对失真函数2021/7/1910单符号离散信源

6、的失真函数设离散无记忆信源为信源通过转移概率矩阵P（Y/X）的信道传输的接收端Y接收端Y2021/7/1911失真矩阵要描述离散信源的所有失真情况，必须用矩阵来表示：即失真矩阵，记作D若一个信源没有正确的传输，所有符号的错误传输大小都为α，则可写作对角线上为0，其余为α,则该单符号离散信源的失真矩阵可以写作。2021/7/1912失真矩阵若α=1，则失真函数称为汉明失真函数，失真矩阵称为汉明失真矩阵，变为2021/7/1913例：已知单符号离散无记忆信源X={0,1}，Y={0,1，2}，失真函数为d(0,0)=d(1,1)=0；d(0,1)=d(1

7、,0)=1；d(0,2)=d(1,2)=0.5，求失真矩阵：解：2021/7/1914以上离散无记忆信源的N次扩展信源的失真函数：若发送和接收的消息分别为：则N次扩展信源的失真函数可定义为2021/7/1915连续信源的失真函数记作：d(x,y)例：d(x,y)=(y-x)22021/7/1916平均失真只能表示两个特定的具体符号之间的失真。平均失真：平均失真为失真函数的数学期望。可以表示信道平均传输每个符号所引起的失真的大小，是从总体上对整个系统失真情况的描述。它是信源统计特性，信道统计特性和失真度的函数，当以上三个量给定后，平均失真度就不再是一个

8、随机量了，而变成一个确定的量。人们所允许的失真都是平均意义上的失真。2021/7/1917平均失真单符号离散