资源描述：
《信息论基础-第七章节》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息论与编码-限失真信源编码第七章限失真信源编码1信息论与编码-限失真信源编码第五章我们讨论了无失真信源编码。但是，在很多场合，特别是对于连续信源，因为其绝对熵为无限大，若要求无失真地对其进行传输，则要求信道的信息传输率也为无限大，这是不现实的。因此也就不可能实现完全无失真传输。另一方面，从无失真信源编码定理来考虑，由于要求码字包含的信息量大于等于信源的熵，所以对于连续信源，要用无限多个比特才能完全无失真地来描述。2信息论与编码-限失真信源编码第16讲7.1失真测度3信息论与编码-限失真信源编码即使对于
2、离散信源，由于处理的信息量越来越大，使得信息的存储和传输成本很高，而且在很多场合，过高的信息率也没有必要，例如：由于人耳能够接收的带宽和分辨率是有限的，因此对数字音频传输的时候，就允许有一定的失真，并且对欣赏没有影响。又如对于数字电视，由于人的视觉系统的分辨率有限，并且对低频比较敏感，对高频不太敏感，因此也可以损失部分高频分量，当然要在一定的限度内。等等这些，都决定了限失真信源编码的重要性。4信息论与编码-限失真信源编码在限失真信源编码里，一个重要的问题就是在一定程度的允许失真限度内，能把信源信息压缩到
3、什么程度，即最少用多少比特数才能描述信源。这个问题已经被香农解决。香农在1948年的经典论文中已经提到了这个问题，在1959年，香农又在他的一篇论文“保真度准则下的离散信源编码定理”里讨论了这个问题。研究这个问题并做出较大贡献的还有前苏联的柯尔莫郭洛夫（Kolmogorov）以及伯格（T.Berger）等。5信息论与编码-限失真信源编码信息率失真理论是矢量化、数模转换、频带压缩和数据压缩的理论基础。本章主要介绍信息率失真理论的基本内容，包括信源的失真度和信息率失真函数的定义与性质，离散信源和连续信源的信
4、息率失真函数计算，在此基础上论述保真度准则下的信源编码定理——即香农第三编码定理。6信息论与编码-限失真信源编码在实际中，信号有一定的失真是可以容忍的，但当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值，因此，要规定失真限度，必须对其有一个定量的失真测度P(Yj/xi)XY信道的数学模型7信息论与编码-限失真信源编码转移矩阵描述P=(P(yj/xi))nxmP矩阵为一个n×m矩阵，其每行元素之和等于1。从这个角度看编码器可以看作一个广义的信道，X为信道的输入，Y是信道的输出。与无失真编码不
5、同，这是从输入到输出是一个多对一的映射，它是不可逆的，信源符号与码元符号之间的差异就是编码时引入的失真。8信息论与编码-限失真信源编码7.1.1、失真函数（定量地描述信息失真程度）设某信源输出的随机变量为X，其值集合为，经过编码后输出为，设对应，如果则认为没有失真。当时，就产生了失真，失真的大小，用失真函数来衡量。单个符号的失真函数(失真度)的定义为9信息论与编码-限失真信源编码由于输入符号有n个，输出符号有m个，所以共有个，写成矩阵形式，就是d被称为失真矩阵。10信息论与编码-限失真信源编码例4-1-
6、1设信源符号,编码器的输出符号，规定失真函数为：d(0,0)=d(1,1)=0;d(0,1)=d(1,0)=1;d(0,2)=d(1,2)=0.5求失真矩阵d.解：由失真矩阵定义：11信息论与编码-限失真信源编码失真函数的函数形式可以根据需要适当选取，如平方代价函数、绝对代价函数、均匀代价函数等：平方失真：绝对失真：相对失真：误码(汉明)失真：12信息论与编码-限失真信源编码也可以按其它的标准，如引起的损失、风险、主观感觉上的差别等来定义失真函数。二、平均失真由于信源X和信宿Y都是随机变量，所以符号失真
7、度函数也是一个随机变量，传输时引起的平均失真应该是符号失真度函数在信源概率空间和信宿概率空间求平均，即：13信息论与编码-限失真信源编码平均失真是符号失真函数在信源空间和信宿空间平均的结果，是描述某一信源在某一信道传输时失真的大小，是从整体上描述系统的失真情况。14信息论与编码-限失真信源编码三、信源符号序列的失真从上面的单符号失真函数，可以得到信源符号序列的失真函数和平均失真度。由于序列时相当于是一个由单符号随机变量组成的随机矢量，仿照单符号时的情况，对单符号离散无记忆信源的L次扩展信源，在信道中的传
8、递作用相当于单符号离散无记忆信道的L次扩展信道，输出也是一个随机变量序列，可得：15信息论与编码-限失真信源编码定义7.1设发送序列xi=xi1xi2…xiN,,接收序列为yi=yj1yj2…yjN,定义序列失真度为：d(xi,yj)=d(xi1xi2…xiN,yj1yj2…yjN)=d(xi1,yj1)+d(xi2,yj2)+…+d(xiN,yjN)=∑d(xik,yjk)(k=1toN)也就是说信源序列的失真度等于序列对应单个符号失真度
