资源描述：
《信息论基础――限失真信源编码 率失真函数课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第5章 限失真信源编码和率失真函数1无失真信源编码和有噪信道编码表明：只要信道的信息传输速率小于信道容量，总能找到一种编码方法，使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小．但是，无失真的编码并非总是必要的：例如在传送语音信号时，由于人耳接受的带宽和分辨率是有限的，从而可以把频谱范围从20Hz~8kHz的语音信号去掉低端和高端的频率，视为带宽只有从300Hz~3400Hz的信号；这样，即使传输的语音信号有一些失真，人耳还是可以
2、分辨或感觉出来，已满足语音信号传输的要求．2在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，即最少需要多少比特数才能描述信源，是本章将要讨论的问题．35.1限失真信源编码模型和率失真函数一、失真测度从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大．所以信息传输率与信源编码所引起的失真(或误差)是有关的．41.定义信源编码器输入X∈{x1,x2,…,xi,…,xn}输出（复制）X^∈{x^1,x^2,…,x^j,…,x^n}若xi=x^j——则无失真若x
3、i≠x^j——则有失真[定义][含义]衡量用x^代替x所引起的失真程度．通常较小的d代表较小的失真，d＝0表示没有失真—单符号失真度！5若信源变量X有n个符号，接收变量X^有n个符号，则d(x,x^)就有n×n个,它可以排列成矩阵形式，即：它为失真矩阵D．6[例1]离散对称信源．信源变量x＝{x1,x2,…xn}，接收变量X^＝{x^1,x^2,…x^ｎ}。定义单个符号失真度：这种失真称为汉明失真．汉明失真矩阵＿对角线上的元素为零，即：对二元对称信源(n＝2)，信源X＝{0,1}，接收变量X^＝
4、{0,1}．在汉明失真定义下，失真矩阵为：7[例２]对称信源．信源变量Ｘ＝{ｘ1,ｘ2,…ｘｎ}，接收变量Ｘ^＝{ｘ^1,ｘ^2,…ｘ^ｎ}。失真度定义为：若信源符号代表信源输出信号的幅度值，这就是一种以方差表示的失真度。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，严重程度用平方来表示。当ｎ＝3时，Ｘ＝{0,1,2}，Ｘ^＝{0,1,2}，则失真矩阵为：上述例子说明了具体失真度的定义．一般情况下根据实际信源的失真，可以定义不同的失真和误差的度量．另外还可以按其他标准，如引起的损失、
5、风险、主观感觉上的差别大小等来定义失真度d(ｘ,ｘ^)．8须强调:假设Ｘ是信源，Ｘ^是信宿，那么两者之间必有信道：转移概率p(ｘ^
6、ｘ)实际这里Ｘ指的是原始的未失真信源，而Ｘ^是指失真以后的信源．有时又把p(ｘ^
7、ｘ)称为试验信道的转移概率，如图所示：原始信源失真信源试验信道信道ＸＸ^p(ｘ^
8、ｘ)9二、平均失真测度信源Ｘ和信宿Ｘ^都是随机变量，故单个符号失真度d(ｘ,ｘ^)也是随机变量．显然，规定了单个符号失真度后，传输一个符号引起的平均失真，即信源平均失真度：在离散情况下，信源Ｘ＝{x1,x
9、2,…xn}，其概率分布P(x)＝[P(x1),P(x2),…P(xn)]，信宿X^＝{X^1,X^2,…X^n}．若已知试验信道的传递概率为P(x
10、x^)时，则平均失真度为：10若平均失真度D不大于我们所允许的失真D，即：DD称此为保真度准则（定义5.1.2）．信源固定(给定P(x))，单个符号失真度固定时(给定d(x,x^))，选择不同试验信道，相当于不同的编码方法，所得的平均失真度是不同的。有些试验信道满足DD，而有些试验信道D＞D.凡满足保真度准则----平均失真度DD的试验信通称
11、为---D失真许可的试验信道．平均失真是对给定信源分布,在给定转移概率分布的信道中传输时的失真的总体量度11[说明]①是在平均意义上，对系统失真的总体描述②是信源统计特性p(x)的函数是信道统计特性p(x/x^)的函数是规定失真度d(x,x^)的函数若保持p(x)、d(x,x^)不变，则平均失真度就是信道特性p(x/x^)的函数研究：在满足保真度准则前提下，求信息率最小值12三、信息率失真函数的定义1.率失真函数问题产生?对于信息容量为C的信道传输信息传输率为R的信源时，如果R＞C，就必须对信源
12、压缩，使其压缩后信息传输率R’小于信道容量C，但同时要保证压缩所引人的失真不超过预先规定的限度——信息压缩问题就是对于给定的信源，在满足平均失真的前提下，使信息率尽可能小。13三、信息率失真函数的定义信源给定，且又具体定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给收信者的信息传输率R尽可能地小．即在满足保真度准则下，寻找信源必须传输给收信者的信息率R的下限值-------------这个下限值与D有关．从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息
