5编码理论(simple)new

《5编码理论(simple)new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章编码定理无失真离散信源编码定理限失真信源编码定理离散信道编码定理连续信道的编码定理12011/11/30第5章编码定理1.问题的提出实际与理论之间存在较大差距。理论上计算所得的最大或最小信息率(信道容量C、率失真函数R(D))是否能达到或逼近?2.讨论内容无失真离散信源编码定理(定长/变长)限失真信源编码定理离散信道编码定理22011/11/30连续/半连续信道编码定理3.编码定理的实际意义指出设计最佳编码器的方向;指出系统平均误码率是以可靠性函数作为负指数随码长增加逼近零的。3

2、2011/11/305.1无失真离散信源编码定理离散、无失真、无记忆信源编码的一般模型：入出U(UU)信源X(X1XK)1L总组合数：编码总码组合数：LmKn42011/11/305.1无失真离散信源编码定理L维信源符号序列U=(u,u,…,u,…,u),12lL其中u(a,a,…,a,…,a);l12in经编码映射为码序列X=(x,x,…,x,…,x),12kK其中x(b,b,…,b,…,b)。k12jm要求:(1)译码后无失真(若K为定值)mKnL;(2)平均每消息符号编码器发送的信息率

3、R尽可能小。logMKRlogmLL52011/11/30式中M=mK为可编码字(码序列)数,logM=Klogm为假定每个码字等概时的信息量。62011/11/305.1无失真离散信源编码定理应满足条件：LK无失真：nmLKnm相互矛盾！有效：LKnm消息数码字数LKKlogn无失真条件变换nmLlogm结论：①当n=m时，K≥L不有效。②当K=L时，m≥n，亦不满足有效性解决办法：引入信源统计特性。72011/11/30考察无失真条件：等概条件下的消息符号熵nLmKKlog

4、n等概条件下的码字符号熵Llogm考虑信源的实际统计特性（非等概），实际消息熵为：H(S)pilogpiiKH(S)代入无失真条件，得：Llogm结论：即使m=n,只要logmH(S)就有可能实现K

5、X=(x,x,…,x,…,x),12kK其中x(b,b,…,b,…,b)。k12jm对任意0,0,只要KlogmH(U)εL则当L足够大,必可使译码差错P<。e92011/11/30(逆定理部分)反之,当KlogmH(U)2εL译码差错P一定为有限值,当L足够大,译码几乎必定出错。e证明(1)需编码信源序列数M上、下界(自信息均值)(契比雪夫不等式)22P{I(a)H(U)ε}ζ/εiI2ζI为信源符号U自信息I(ai)的方差102011/11/30对于L维i.i.d.s.其序列熵

6、和序列方差分别为:E{I(U)}LH(U)22E[I(U)LH(U)]LζI契22LζζII(1)PI(U)LH(U)Lε22(L)Lε将nL种L维序列U或U分成互不相交的子集:L信源序列集合I(U)LAεUL:H(U)ε(2)ACLεCI(UL)AεUL:H(U)ε(3)AL112011/11/30由式(1)和(3)得22ζζCII0P{A},1P{A}1ε2ε2LεLε由式(2)可得exp{L[H(U)ε]}P(U)exp{

7、L[H(U)ε]}LP{Aε}P(UL)MεmaxP(UL)Mεexp{L[H(U)ε]}ULAεULAεP{Aε}P(UL)MεminP(UL)Mεexp{L[H(U)ε]}ULAεULAε122011/11/30综合以上各式得2ζiL[H(U)ε]L[H(U)ε](1)eMe2ε(4)Lε132011/11/30(2)正定理(两边取对数)(M上界)KKL[H(U)ε]KmMmelogmH(U)εεL2ζCI(5)Pp(A)δeε2L

8、ε当2ζIL2,Peδ;(6)εδL,P0e142011/11/30(3)逆定理KKL[H(U)-2]logmH(U)2εmeL该函数下降快(L足够大)(据(4)式)KLεMmeε12MζεI12LεKm(L)0P1eMε(可用码字数<