资源描述：
《信息论与编码第5章限失真信源编码》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第五章保真度准则下的信源编码前言第一节失真度和平均失真度第二节信息率失真函数第三节信息率失真函数的性质第四节二元信源和离散对称信源的R(D)函数第五节保真度准则下的信源编码定理第六节标量量化编码第七节矢量量化编码前言无失真离散信源编码定理:无论是无噪信道还是有噪信道,信息传输率小于信道容量,总能以任意接近信道容量的传输率来传送信息;但若信息传输率大于信道容量,就不可能实现无失真传输.前言无失真传输存在的问题:实际信源的输出常常是连续的,如语言、图像等.因为连续信源的绝对熵为无限大,若要无失真地传送连续信源,则
2、信息传输率也必须无限大。信道带宽是有限的,即信道容量是受限的.为此实际通信中信息传输率总是远大于信道容量的,因此不可能实现完全无失真地传输信源信息。前言失真传输的必要性:无失真信源编码定理:描述信源所需的最少比特数是信源的熵值.那么连续信源需要用无穷多个比特数才能无失真地描述,这是绝对不可能的.若用有限的比特数来描述连续的消息就会带来失真.前言失真传输的必要性:数字系统需要传送、存储和处理大量的数据.如实际数字通信系统中,普通电话的数码率为64kb/s;可视电话的数码率为8.448Mb/s;黑白电视的数码率为
3、60Mb/s等.传输信号质量要求越高,数码率也越高.数码率高,不仅对传输不利,而且也增加了存储和处理的困难.为了提高传输和存储的效率,就必须对有待传送和存储的数据进行压缩,这样也会损失一定的信息,带来失真.前言失真传输的可能性:实际生活中信宿一般并不要求完全无失真地恢复消息.通常总是要求在保证一定质量(一定保真度)的条件下近似地再现原来的消息,也就是允许有一定的错误(失真)存在.例如:传送语音时,由于人耳接受带宽和分辨率有限,可把频谱范围从20Hz～8kHz的语音信号去掉低端和高端的频率,看成带宽只有300H
4、z～3.4kHz的信号.这样,即使传输的语音信号会有一些失真,人耳还是可以分辨或感觉出原来的语音,满足语音信号传输的要求,所以这种失真是允许的.前言失真传输的可能性:传送图像时,也并不是需要全部精确地把图像传送到观察者.只需将电视信号每一像素的黑白灰度级分成256级,屏幕上的画面就已足够清晰悦目.对于静止图像或活动图像,从空间频域来看,每一帧一般只含有大量的低频域分量,高频域分量很少.若将高频分量丢弃,只传输或存储低频分量,数据率便大大减少,而图像质量仍能令人满意.这是因为人眼有一定的主观视觉特征,允许传送图
5、像时有一定的误差存在.前言失真传输的研究方向:在允许一定程度失真的条件下,能把信源信息压缩到什么程度,即最少需要多少比特数才能描述信源;也就是说,在允许一定程度失真的条件下,如何能快速地传输信息,这是本章要讨论的问题。前言这个问题在香农1948年最初发表的经典论文中已经有所体现,但直到1959年香农又发表了“保真度准则下的离散信源编码定理”这篇重要文章之后,它才引起了人们的注意.定理指出:在允许一定失真度D的情况下,信源输出信息传输率可压缩到R(D)值,这就从理论上给出了信息传输率与允许失真之间的关系,奠定了
6、信息率失真理论的基础.前言那么在允许一定程度失真的条件下,能够把信源信息压缩到什么程度,也就是,允许一定程度失真的条件下,如何能快速的传输信息,这就是本章所要讨论的问题.本章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基础.前言本章主要介绍信息率失真理论的基本内容,侧重讨论离散无记忆信源.首先给出信源的失真度和信息率失真函数的定义与性质,然后讨论离散信源的信息率失真函数计算.在这个基础上论述保真度准则下的信源编码定理.1、失真度信源信源编码信道编码信道信道译码信源译码信宿干扰失真范围:由于只涉及信源
7、编码问题,所以可以将信道编码和信道译码看成是信道的一部分.这样信宿收到消息的失真(或误差)只是由信源编码带来的.第一节失真测度广义无扰信道第一节失真测度试验信道:由于是失真编码,所以信道不是一一对应的,可用信道传递概率描述编、译码前后关系,这样通信系统可简化为下图所示.第一节失真测度失真大小与信息传输率的关系:从直观感觉可知,若允许失真越大,信息传输率可越小;若允许失真越小,信息传输率需越大.所以信息传输率与信源编码所引起的失真(或误差)是有关的.现在要研究在给定允许失真的条件下,是否可以设计一种信源编码使信
8、息传输率为最低.为此,我们首先讨论失真的测度.第一节失真测度设信源变量为U={u1,…,ur},接收端变量为V={v1,…,vs},对于每一对(u,v),指定一个非负函数d(ui,vj)≥0称为单个符号的失真度(或称失真函数).失真函数用来表征信源发出符号ui,而接收端再现成符号vj所引起的误差或失真.d越小表示失真越小,等于0表示没有失真.第一节失真测度可以将所有的失真函数排列成矩阵的形式:我们称
