信息论与编码理论_12new

《信息论与编码理论_12new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码理论杨文通信工程系第四章信息率第四章信息率失真函数失真函数4.1基本概念4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4信息率失真函数与信息价值4.5信道容量与信息率失真函数的比较4.6保真度准则下的信源编码定理4.7信息率函数与信息价值4.8信息论“三大定理”总结2006/11/12第四章信息率4.1基本概念失真函数4.1.1引言4.1.2失真度与平均失真度4.1.3信息率失真函数的定义4.1.4信息率失真函数的性质2006/11/13第四章信息率4.1基本概念失真函数ò在前面几章的讨论中，其基本出发点都是如何保在前面几

2、章的讨论中，其基本出发点都是如何保证信息的无失真传输。证信息的无失真传输。ò但在许多实际应用中，人们并不要求完全无失真但在许多实际应用中，人们并不要求完全无失真地恢复消息，而是地恢复消息，而是只要满足一定的条件，近似地恢复信源发出的消息就可以了。ò然而，什么是然而，什么是允许的失真？如何对失真进行描述？？信源输出信息率信源输出信息率被压缩的最大程度是多少？是多少？信息率失真理论回答了这些问题，其中回答了这些问题，其中香农的限失真编码定理定量地描述了失真，研究了信息率定量地描述了失真，研究了信息率与失真的关系，论述了在限失真范围内的信源编与失真的关系，论

3、述了在限失真范围内的信源编码问题，已成为量化、数据转换、频带压缩和数码问题，已成为量化、数据转换、频带压缩和数据压缩等现代通信技术的理论基础。据压缩等现代通信技术的理论基础。2006/11/14第四章信息率4.1.1引言失真函数4.1(1)“消息完全无失真传送”的可实现性基ò信道编码定理：无论何种信道，只要信息率R小于本信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。概反之，若R>C，则传输总要失真。念ò完全无失真传送不可实现：ò实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率R为无穷大；ò实际

4、信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量R>>C。2006/11/15第四章信息率4.1.1引言失真函数4.1(2)实际中允许一定程度的失真基ò技术发展的需要本ò随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需概要对数据压缩，这样也会带来一定的信息损失。念ò人类社会已进入信息时代，信息爆炸的结果要求人们解决如何对浩如烟海的数据有效的压缩，减少数据的存储容量(如各种数据库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、或占有带宽(如多媒体通

5、信、数字音频广播、高清晰度电视)，要想方设法压缩给定消息集合占用的空间域、时间域和频率域资源。ò如海洋地球物理勘探遥测数据，用60路传感器，每路信号1KHz，16位A/D量化，每航测1Km就需记录1盘0.5英寸的磁带，一条测量船每年就可勘测15000Km，数据流之大可见一斑。2006/11/16第四章信息率4.1.1引言失真函数4.1ò实际生活中的需要基ò实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的本失真存在。概ò例如打电话：即使语音信号有一些失真，接电话的人念也能听懂。人耳接收信号的带宽和分辨率是有限的

6、。ò放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。ò有些失真没有必要完全消除。2006/11/17第四章信息率4.1.1引言失真函数4.1(3)信息率失真理论基ò信息率失真函数本概ò香农定义了信息率失真函数R(D)。念ò定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。ò信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。2006/11/18第四章信息率4.1.1引言失真函数4.1ò信息率失真函数极小值问题基òI(X;Y)是P(X)和P(Y/X)的二元函数；ò

7、在讨论信道容量时：规定了P(Y/X)，I(X;Y)变成了P(X)的函数。本在离散情况下，因为I(X;Y)对p(x)是上凸函数，所以变更p(x)所ii概求极值一定是I(X;Y)的极大值；在连续情况下，变更信源P(X)求念出的也是极大值，但求极值时还要一些其它的限制条件。ò在讨论信息率时可规定：p(xi)，变更p(yj/xi)来求平均互信息的极值，称为信道容量对偶问题。由于I(X;Y)是p(y/x)的下凸函数，ji所求的极值一定是极小值。但若X和Y相互统计独立(p(y/x)=jip(y))，这个极小值就是0，因为I(X;Y)是非负的，0必为极小值，j这样求

8、极小值就没意义了。ò引入一个失真函数，计算在失真度一定的情况下信息率的极小值就变得有意义了。2