信息论第四章失真率函数.ppt

《信息论第四章失真率函数.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第4章率失真编码内容提要数据压缩是信息传输和处理的重要研究内容，率失真理论研究的就是在允许一定失真的前提下，对信源的压缩编码。率失真信源编码定理（香农第三定理）指出：率失真函数R(D)就是在给定失真测度条件下，对信源熵可压缩的最低程度。本章只限于研究率失真理论最基本的内容，失真测度，率失真函数，率失真函数的定义域，值域，性质及定量计算。R(D)的计算很烦琐，文中通过二个例子介绍了几种特殊情况下R(D)的求法，一般情况只能用参数法求解。第4章率失真编码信息率失真函数R(D)——香农1959年提出在允许一定失真

2、度D的情况下，信源输出的信息率可压缩为R(D)值数据压缩的理论基础I(X;Y)——H(X)、H(Y/X)的二元函数固定H(Y/X)，改变H(X)得I(X;Y)最大值——信道容量固定H(X)，改变H(Y/X)得I(X;Y)最小值——率失真函数第4章率失真编码1．失真测度d(x,y)给定离散信源，信道输出符号yj引起的失真用d(xi,yj)（i=1,…,Ij=1,…,J）表示，简记为dij，将所有的dij列出来，可以得到下面的失真测度矩阵(4-1)在允许一定失真的前提下，从提高传输效率的角度出发，可以对信源信息

3、量事先进行压缩再予传输，这章要讨论的问题就是给定一个失真度，求出在平均失真小于给定值的条件下，信源所能压缩的最低程度，即率失真函数R(D)。4.1失真测度与平均失真【例4.1】汉明（Hamming）失真测度信源输出符号X={x1,x2,…,xK}，信道输出符号Y={y1,y2,…,yK}，约定失真测度上述约定可以用矩阵表示为式中dij≥0i,j=1,2,…,K为信源方发送符号xi而信宿方判为yj引起的失真度。对于矢量传输情况，若信道的输入、输出均为N长序列X=X1X2…XN，Y=Y1Y2…YN，定义失真测度

4、为（4-2）【例4.2】平方误差失真测度信源输出符号X={0,1,2}，信道输出符号Y={0,1,2}，给出失真测度dij=(xi-yj)2i,j=0,1,2则失真测度矩阵为【例4.3】绝对值误差失真测度信源输出符号X={0,1,2}，信道输出符号Y={0,1,2}，给出失真测度dij=︱xi-yj︱i,j=0,1,2则失真测度矩阵为2.平均失真离散信源，经有扰信道传输，信道输出符号为Y={y1,y2,…,yJ}，平均失真即对dij（i=1,2,…,I;j=1,2,…,J）求统计平均值，记为（4-4）平均失

5、真是对在给定信源分布q(x)条件下，通过有扰信道传输而引起失真的统计平均度量。平均失真说明：①是在平均意义上，对系统失真的总体描述②是信源统计特性p(xi)的函数是信道统计特性p(yj/xi)的函数是规定失真度d(xi,yj)的函数若保持p(xi)、d(xi,yj)不变，则平均失真度就是信道特性p(yj/xi)的函数N次扩展信道对于矢量传输情况，若信道的输入、输出符号均为N长序列X=X1，…,Xk,…,XN,,Y=Y1，…,Yk,…,YN,，平均失真定义为（4-5）（4-5）式表明了离散无记忆N次扩展信道的

6、输入输出符号之间平均失真等于单个符号xki,ykj之间失真统计值的总和。若矢量信源是原离散无记忆信道的N次扩展，且矢量信道也是原离散无记忆信道的N次扩展，则每个对一位信源信道所取的均值相等，即从而，4.2.1率失真函数的定义给定信源，即信源概率分布q(x)一定，给定失真测度矩阵[d]=[dij]，寻找信道，记它的转移概率矩阵为，要求满足（4-11）式中D是预先给定的失真度，上式称为保真度准则。4.2信息率失真函数R(D)根据[定理2.2]，当信源q(x)一定时，平均互信息量I(X;Y)是信道转移概率函数p(

7、y∣x)的∪型凸函数，这意味着可以关于p(y∣x)对平均互信息量I(X;Y)求得极小值，定义这个极小值为率失真函数R(D)，即：(4-12)式(4-12)的意义在于，选择p(y∣x)即选择某种编码方法在满足的前提下，使I(X;Y)达到最小值R(D)，这就是满足平均失真条件下的信源信息量可压缩的最低程度。补充：试验信道(D允许信道)PD1.定义：固定信源(H(X)时，满足失真度准则的所有转移概率p(y/x)的集合2.单符号信源、单符号信道的试验信道3.N次扩展信源、N次扩展信道的PD(N)4.2信息率失真函数

8、R(D)（1）D的最小值Dmin在给定的失真测度矩阵中，对每一个xi，找一个最小的dij，然后对所有的i=1,2,…,I求统计平均值，就是D的最小值，即(4-14)2.R(D)的定义域4.2.2率失真函数的值域、定义域1.R(D)的值域（参见图4-1）率失真函数的值域为0R（D）H（X）(4-13)D图4－1R（D）的值域Dmax0DminH（X）R(D)求出计算Dmax的显式:j=1,2,…,J（4-18）