资源描述：
《信息论4第4章节》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、西北大学信息学院1信息率失真函数第4章2021/9/292(1)完全无失真传送不可实现：实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率R为无穷大；实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量R>>C。引言4.1基本概念2021/9/293(2)实际中允许一定程度的失真技术发展的需要随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。人类社会已进入信息时代，信息爆炸的结果要求人们解决如何对浩如烟海的数据有效的压缩，减少数据
2、的存储容量(如各种数据库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、或占有带宽(如多媒体通信、数字音频广播、高清晰度电视)，要想方设法压缩给定消息集合占用的空间域、时间域和频率域资源。如海洋地球物理勘探遥测数据，用60路传感器，每路信号1KHz，16位A/D量化，每航测1Km就需记录1盘0.5英寸的磁带，一条测量船每年就可勘测15000Km，数据流之大可见一斑。4.1.1引言4.1基本概念2021/9/294实际生活中的需要实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。例如打电话：即使语音信号有一些失真，接
3、电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。有些失真没有必要完全消除。4.1.1引言4.1基本概念2021/9/295(3)信息率失真理论信息率失真函数香农定义了信息率失真函数R(D)。定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。4.1.1引言4.1基本概念2021/9/296信息率失真函数极小值问题I(X;Y)是P(X)和P(Y/X)的二元函数；在讨论信道容量时：规定了
4、P(Y/X)，I(X;Y)变成了P(X)的函数。在离散情况下，因为I(X;Y)对p(xi)是上凸函数，所以变更p(xi)所求极值一定是I(X;Y)的极大值；在连续情况下，变更信源P(X)求出的也是极大值，但求极值时还要一些其它的限制条件。在讨论信息率时可规定：p(xi)，变更p(yj/xi)来求平均互信息的极值，称为信道容量对偶问题。由于I(X;Y)是p(yj/xi)的下凸函数，所求的极值一定是极小值。但若X和Y相互统计独立(p(yj/xi)=p(yj))，这个极小值就是0，因为I(X;Y)是非负的，0必为极小值，这样求极小值就没意义了。引入一个失真函数，计算在失真度一定的情
5、况下信息率的极小值就变长有意义了。4.1.1引言4.1基本概念西北大学信息学院74.1平均失真和信息率失真函数4.2离散信源的R(D)计算内容结束西北大学信息学院84.1平均失真和信息率失真函数4.1.1失真函数14.1.2平均失真24.1.3信息率失真函数R(D)34.1.4信息率失真函数的性质4西北大学信息学院94.1.1失真函数假如某一信源X,输出样值xi,xi∈{a1,a2,…an},经信道传输后变成yj,yj∈{b1,b2,…bm},如果:xi＝yj没有失真xi≠yj产生失真失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度
6、。失真函数定义为：西北大学信息学院10失真函数将所有的d(xi,yj)排列起来,用矩阵表示为:失真矩阵例1：设信源符号序列为X={0,1},接收端收到符号序列为Y={0,1,2},规定失真函数为d(0,0)＝d(1,1)=0d(0,1)＝d(1,0)=1d(0,2)＝d(1,2)=0.5失真矩阵西北大学信息学院11失真函数形式可以根据需要任意选取,最常用的有:均方失真:绝对失真:相对失真:误码失真:适于连续信源适于离散信源失真函数西北大学信息学院12汉明失真矩阵对于二元对称信源(m=n),X={0,1},Y={0,1},汉明失真矩阵:西北大学信息学院134.1.2平均失真xi
7、和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,限失真时的失真值只能用数学期望表示将失真函数的数学期望称为平均失真：失真函数d(xi,yj)：描述了某个信源符号通过传输后失真的大小平均失真：描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真西北大学信息学院14L长序列编码如果假定离散信源输出符号序列X＝{X1X2…Xl…Xn},其中L长符号序列xi=[xi1xi2…xiL],经信源编码后,输出符号序列Y={Y1Y2…Yl…Ym},其中L长
