资源描述：
《信息论讲义_第十六讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息理论基础信息理论基础（第十六讲）（第十六讲）授课教师：于泽电子信息工程学院201教研室第七章限失真信源编码内容提要6.1失真测度6.2信息率失真函数6.3限失真信源编码定理和逆定理6.4信息率失真函数的计算27.1失真测度•Thedescriptionofanarbitraryrealnumberrequiresaninfinitenumberofbits.•Istransmissionwithoutdistortionnecessaryanytime?–Image-25–Voice-20kHz•实际上不需要也不可能完全无失真，在保证一定质量(保真度
2、准则)下允许信源存在一定的失真；37.1失真测度¾Tosolvetheproblemofdefiningthe‘goodness’ofarepresentationofasource,wehavegotsuchadefinition---distortionmeasuredistortionmeasure(ameasureofdistancebetweentherandomvariableanditsrepresentation).¾本章主要研究内容：给定信源的熵，在允许失真条件下，信源熵所能压缩的极限理论值？如何计算？¾采用了研究信道的方法，即将信源压
3、缩过程看成通过一个信道，寻找保真度准则下的最小平均互信息即：信息率失真函数47.1.1失真函数1、信源压缩过程看成通过一个信道，即通过信道传递概率p(y
4、x)将输入符号集合X变换成输出符号集合Y；ＸY输入符号集X={x1,x2,…,xr}信道输出符号集Y={y,y,…,y}p(y
5、x)12s2、集合X中符号x可以变换成集合Y中任意一个符号，i变成不同的符号产生的质量损失大小也不一样，如何衡量？——失真函数。57.1.1失真函数3、失真函数设离散信源为⎡X⎤⎡x1x2"xn⎤⎢⎥=⎢⎥Pp(x)p(x)"p(x)⎣⎦⎣12n⎦(压缩后)信道输出符号集合为Y
6、={y1y2"ym}用一个非负函数d(x,y)表示信源发出符号x后收iji到符号y的失真度的定量描述，称jd(x,y)i=1,2,...,n,j=1,2,...,mij为失真函数。67.1.1失真函数4、失真矩阵将失真函数写成矩阵形式为⎡d(x1,y1)d(x1,y2)"d(x1,ym)⎤⎢⎥d(x,y)d(x,y)"d(x,y)[]d=⎢21222m⎥⎢####⎥⎢⎥d(x,y)d(x,y)"d(x,y)⎣n1n2nm⎦称为失真矩阵。失真函数d(x,y)根据具体需求确定，如平方代价ij函数、绝对代价函数、均匀代价函数等。77.1.1失真函数例设信源符号
7、序列为X=[0，1]，接收端收到符合序列为Y=[0，1，2]，规定失真函数为dd(0,0)=(1,1)=0dd(0,1)==(1,0)1dd(0,2)==(1,2)0.5失真矩阵为⎡010.5⎤[]d=⎢⎥⎣100.5⎦87.1.1失真函数Thedistortionmeasureisdefinedonasymbol-by-symbolbasis.Weextendthedefinitiontosequencesbyusingthefollowingdefinition:Definition:Thedistortionbetweensequencesxnan
8、disxˆndefinedbynnn1dxx(,)ˆˆ=∑dxx(,)iini=197.1.2平均失真由于x,y是随机变量，所以失真函数d(x,y)也是ijij随机变量，称失真函数的数学期望为平均失真。记作nmD=∑∑p(xi,yj)d(xi,yj)i==11jnm=∑∑p(xi)p(yj
9、xi)d(xi,yj)i==11j平均失真是信源p(x)，通过信道p(y
10、x)时产生失iji真的总体度量，显然有D≥0。107.1.2平均失真例：设信源X符号集合为{a,a,...,a}，等概率分布，122n⎧1i≠j给定失真测度d(ai,aj)=⎨，设计一种单符⎩0
11、i=j号压缩算法，使得平均失真为D=1/2，并计算压缩后的信息量R解：设Y为X压缩后的集合，符号集为{b1,b2,...,bn}选择压缩方法及对应试验信道矩阵为117.1.2平均失真bb"bb12n−1nXYa1⎡10""0⎤a→b(i=1,2,...,n−1)⎢⎥iia01""02⎢⎥a→b(i=n,n+1,...,2n)in#⎢#####⎥⎢⎥a00010n−1⎢⎥平均失真a⎢0""01⎥n⎢⎥D=1/2#⎢#####⎥a⎢⎣0"""1⎥⎦2nn+1R=H(Y)=log(2n)−log(n+1)2nR>R(D=1/2)1R(D=1/2)=log(2n
12、)−log(2n−1)−12127.2信息率失真函数1、保真度准则如果预先给定的
