[工学]信息论与编码_第5章有失真信源编码

《[工学]信息论与编码_第5章有失真信源编码》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章有失真信源编码信息论与编码InformationandCodingTheory王永容机械与电气工程学院wangyr416@126.com1第5章有失真信源编码5.1信息率失真函数5.2信息率失真函数的性质5.3限失真信源编码定理2实际通信系统允许一定的失真存在。1打电话；2放电影，视觉暂留性。允许压缩信源输出的信息率。研究内容：信息率允许失真35.1信息率失真函数编码器输入X：xi{a1,a2,…,an}.编码器输出Y：yj{b1,b2,…,bm}.无失真:xi=yj有失真:xi≠yj失真函数d(xi,yj)

2、45.1信息率失真函数失真矩阵55.1信息率失真函数例5.1.1.设信源符号X{0,1},编码器输出符号Y{0,1,2},规定失真函数为d(0,0)=d(1,1)=0d(0,1)=d(1,0)=1d(0,2)=d(1,2)=0.5则失真矩阵为6a1b1a2b2anbn17汉明失真2平方误差失真函数85.1信息率失真函数均方失真：绝对失真：相对失真：误码失真（适用于离散信源）：适用于连续信源9由于ai和bj都是随机变量，所以失真函数d(ai，bj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将

3、失真函数的数学期望称为平均失真度。平均失真度105.1信息率失真函数平均失真：平均失真是对给定信源分布p(xi)经过某一转移概率分布为p(yj

4、xi)的有失真信源编码器后产生失真的总体量度。115.1信息率失真函数序列编码的失真输入：X=(X1,X2,…,XL)，样值为:x=(x1,x2,…,xL)输出：Y=(Y1,Y2,…,YL)，样值为:y=(y1,y2,…,yL)失真函数定义为：序列编码的平均失真：125.1信息率失真函数有失真信源编码器模型信源编码目的寻找一种编码方案，使编码后所需的信息传输率R尽量小。问题R越

5、小，引起的平均失真就越大。解决方法给出一个失真限制值D,在满足平均失真小于D的条件下，寻找一种编码方案使得信息率R最小。135.1信息率失真函数信源编码器有干扰的假想信道信息传输率RI(X;Y)有失真信源编码器模型信源编码器XY假想信道xi{a1,,an}yj{b1,,bm}145.1信息率失真函数若p(ai)和d(ai,bj)已定，则平均失真由信道转移概率{p(bj

6、ai)}完全确定，所有满足平均失真小于等于门限D的信道集合155.1信息率失真函数信息率失真函数信息率失真函数R(D)的物理意义：对于给定信

7、源，在平均失真不超过失真限度D的情况下，信息率允许压缩的最小值为R(D)。离散无记忆信源的信息率失真函数16第5章有失真信源编码5.1信息率失真函数5.2信息率失真函数的性质5.3限失真信源编码定理175.2信息率失真函数的性质单调性0DmaxDR(D)185.2信息率失真函数的性质R(D)的定义域:[Dmin,Dmax]0Dmin；R(Dmin)=H(X).195.2信息率失真函数的性质Dmax:205.2信息率失真函数的性质R(D)的值域0≤R(D)≤H(X).215.2信息率失真函数的性质例：设输入输出符号表示

8、为X=Y={0,1},输入概率分布p(x)={1/3,2/3},失真矩阵为求Dmin,R(Dmin),Dmax,R(Dmax)?解:当Dmin=0时,R(Dmin)=H(X)=H(1/3,2/3)=0.91bit/符号.当R(Dmax)=0时,有225.2信息率失真函数的性质R(D)是关于D的下凸函数(0≤α≤1)R(D)是关于D的连续函数235.2信息率失真函数的性质R(D)是关于D的严格递减函数允许的失真越大,所要求的信息率越小0DmaxDR(D)H(X)离散系统信息率失真曲线0DmaxDR(D)连续系统信息率失真

9、曲线245.2信息率失真函数的性质信道容量与信息率失真函数的比较255.2信息率失真函数的性质当p(xi)固定，互信息量I(X;Y)是信道转移概率概率分布p(yj

10、xi)的下凸函数,存在极小值。信息率失真函数就是假定信源给定的情况下,在试验信道（满足保真度准则的信道）中求平均互信息的极小值,即信道容量与信息率失真函数的比较当p(yj

11、xi)固定，互信息量I(X;Y)是输入符号概率p(xi)的上凸函数,存在极大值.信道容量就是假定信道固定的前提下,选择一种试验信源，使平均互信息（信息率）最大,即265.2信息率失真函数的

12、性质信道容量反映的是信道传输信息的能力，即信道可传输的最大信息率。研究信道容量目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，即信道编码问题。信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现。信息率失真函数反映的是信源可压缩的程度，即在可以容忍的失真度内再现信源消息所必