信息论第七讲率失真函数概要.ppt

《信息论第七讲率失真函数概要.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、4.4率失真函数(RateDistortionFunction)引言上面我们介绍的编码也称为无失真编码（无损编码），另外一类编码称为限失真编码（有损编码）。率失真理论研究的就是在允许一定失真的前提下，对信源的压缩编码。率失真信源编码定理（香农第三定理）指出：率失真函数R(D)就是在给定失真测度条件下，对信源压缩的最低程度。也就是说：为了提高传输效率，可以给定一个失真度，求出在平均失真小于给定值的条件下，信源所能压缩的程度的极限值，即率失真函数R(D)。9/6/202114.4率失真函数4.4.1失真度与平均失真度(1

2、)符号失真度设单符号离散无记忆信源、信宿及信道为：DMCXY9/6/202124.4率失真函数定义：对每一对(xi,yj)，指定一个非负函数d(xi,yj)≥0i=1,2,…,nj=1,2,…,m称d(xi,yj)为符号失真度(失真函数)。符号失真度表示信源发出一个符号xi，在接收端再现yj所引起的误差或失真。9/6/202134.4率失真函数(2)平均失真度d(xi,yj)只能表示两个特定的具体符号xi和yj之间的失真。平均失真度：平均失真度为失真度的数学期望。9/6/202144.4率失真函数(3)平均失真度意义

3、它是在平均意义上，对整个系统失真情况的总体描述。它是信源统计特性p(xi)、信道统计特性p(yj/xi)和失真度d(xi,yj)的函数。当p(xi)，p(yj/xi)和d(xi,yj)给定后，平均失真度就是一个确定的量。如果信源和失真度一定，它就只是信道统计特性的函数。信道不同，平均失真度随之改变。9/6/202154.4率失真函数(4)失真度描述失真度一般用失真度矩阵来描述。9/6/202164.4率失真函数例：汉明（Hamming）失真度X={x1,x2,…,xn}，Y={y1,y2,…,yn}，约定失真度用矩阵

4、表示为式中dij≥0i,j=1,2,…,n为信源方发送符号xi而信宿方判为yj引起的失真度。9/6/202174.4率失真函数例:平方误差失真度X={0,1,2}，Y={0,1,2}，给出失真度dij=(xi-yj)2i,j=0,1,2则失真度矩阵为9/6/202184.4率失真函数例:绝对误差失真度X={0,1,2}，Y={0,1,2}，给出失真度dij=︱xi-yj︱i,j=0,1,2则失真度矩阵为:9/6/202194.4.2率失真函数(1)允许失真度D对于单符号离散无记忆信源X、信宿Y及信道P(Y/X)：给定

5、信源X概率分布p(x)和失真度矩阵[d]=[dij]，如果信道转移概率矩阵[P]=[p(Y/X)]满足如下关系，则式中的D则称为允许失真度，关系式称为保真度准则。4.4率失真函数9/6/2021104.4率失真函数(2)率失真函数R(D)我们知道：当信源p(x)一定时，平均交互信息量I(X;Y)是信道转移概率函数p(y/x)的下凸函数。也就是说：平均互信息量I(X;Y)关于p(y/x)存在极小值。定义：平均交互信息量关于信道转移概率的极小值为率失真函数R(D)，即：9/6/2021114.4率失真函数(3)率失真函数

6、的含义通过选择合适的信道转移概率p(y/x)（实际上选择某种信道编码方法），在满足一定的失真度要求前提下（平均失真度<允许失真度D），使平均交互信息量达到最小值R(D)。率失真函数表明了在满足平均失真度小于D条件下，信源传输信息量（信息速率）可压缩的最低程度。在信源和失真度给定以后，存在满足保真度准则的信道集合，一定有某个信道，使I(X;Y)达到最小。9/6/2021124.4率失真函数(4)率失真函数的定义域R(D)的值域率失真函数的值域为0R（D）H（X）D的最小值Dmin在给定的失真度矩阵中，对每一个xi，

7、找一个最小的dij，然后对所有的i=1,2,…,n求统计平均值，就是D的最小值，即DDmax0DminH（X）R(D)9/6/2021134.4率失真函数D的最大值Dmax当R(D)达到其最小值Rmin（D）=0时，对应的失真最大，这种情况下D对应着R(D)函数定义域的上界值Dmax。DDmax0DminH（X）R(D)9/6/2021144.4率失真函数(5)率失真函数的性质率失真函数R(D)是D的下凸函数。分别给定两个失真度D1和D2（DminD1,D2Dmax），则下式成立：R(α1D1+α2D2)≤α1R

8、(D1)+α2R(D2)率失真函数R(D)是连续单调函数9/6/2021154.4率失真函数例:求率失真函数已知信源{x1=0，x2=1}，概率分布为（δ，1-δ),δ<0.5，信道输出符号Y={y1=0，y2=1}，失真测度为汉明（Hamming）失真测度，求率失真函数R(D)。(1)求出R(D)的定义域Dmin=0·δ+0·(1-δ)=0D