ch4信息率失真函数ppt课件.ppt

《ch4信息率失真函数ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函数第5章：信源编码第6章：信道编码第7章：密码体制的安全性测度2021/8/221第4章：信息率失真函数信息率：R=I(X;Y)信道容量：R˂C=maxR无失真信源编码：R˃H(X)H(x)

2、信息率允许失真2021/8/224§4.1信息率失真函数§4.1.1失真函数和平均失真度§4.1.2率失真函数定义§4.1.3率失真函数性质2021/8/225对任一指定一个非负数失真度（函数）2021/8/226a1b1a2b2anbm12021/8/227汉明失真2平方误差失真函数2021/8/228由于ai和bj都是随机变量，所以失真函数d(ai，bj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为平均失真度2021/8/229允许失真保真度准则阈值2021/8/2210§4.

3、1信息率失真函数§4.1.1失真函数和平均失真度§4.1.2信息率失真函数定义§4.1.3率失真函数性质2021/8/2211信源编码器XY假想信道将信源编码器看作信道2021/8/2212信源编码器:目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移

4、概率p(bj/ai)就对应信道转移概率。2021/8/2213D失真许可的试验信道平均失真由信源分布p(ai)、假想信道的转移概率p(bj/ai)和失真函数d(ai，bj)决定，若p(ai)和d(ai，bj)已定，则调整使1、D允许试验信道2021/8/22142、信息率失真函数R(D)由于互信息取决于信源分布和信道转移概率分布，当p(ai)一定时，互信息I是关于p(bj/ai)的下凸函数，存在极小值。因而,在上述允许信道PD中，可以寻找一种信道p(bj/ai)，使给定的信源p(ai)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息

5、就称为信息率失真函数R(D)，即2021/8/2215§4.1信息率失真函数§4.1.1失真函数和平均失真度§4.1.2信息率失真函数定义§4.1.3信息率失真函数性质2021/8/2216定义域：1D=0R(D)=H(X)连续：2021/8/2217令令{p(bj)}对Dj的数学期望，选择期望最小的一种概率分布2021/8/2218线性分配2021/8/2219假定所有Dj中，Ds最小，令例：4.1.12021/8/2220下凸性2证明：2021/8/22212021/8/2222定义新试验信道：满足保真度准则2021/8/2223由对的下凸

6、性：2021/8/2224连续和单调递减性3DH(X)R(D)2021/8/2225§4.1信息率失真函数§4.2离散信源的信息率失真函数§4.3连续信息的率失真函数§4.4保真度准则下的信源编码定理2021/8/2226§4.2离散信源的信息率失真函数§4.2.1离散信源信息率失真函数的参量表达式§4.2.2二元信源的率失真函数2021/8/22272021/8/2228令2021/8/2229令1232021/8/2230321452021/8/2231负值在公式两边对S取导数2参见教材P114S是R(D)的斜率2021/8/2232两边乘

7、以对求和D2021/8/2233§4.2离散信源的信息率失真函数§4.2.1离散信源信息率失真函数的参量表达式§4.2.2二元信源的率失真函数2021/8/22341验证是否大于等于零2345672021/8/22352021/8/22362021/8/22372021/8/22382021/8/22392021/8/2240容忍失真允许压缩的信息率2021/8/22411S(D)D0.50.25P=0.25P=0.52021/8/2242§4.3连续信息的率失真函数§4.3.1连续率失真函数的参量表达式§4.3.2高斯信源的率失真函数§4.3

8、.3信息价值2021/8/2243§4.3.3信息价值合格品a1，废品a2，生产过程抽象成信源：例把检验过程看作信道，检验结果即为信道输出。2021/