香农定理深度详解上课讲义.ppt

《香农定理深度详解上课讲义.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、香农定理深度详解信息论与编码基础香农三大定理简介1、信源编码器a、模型编码器单符号信源无失真编码器码符号码字码长信息论与编码基础香农三大定理简介N次扩展信源无失真编码器编码器1、信源编码器a、模型信息论与编码基础香农三大定理简介b、举例1）ASCII信源编码器1、信源编码器ASCII编码器{英文字母/符号/命令}二进代码码符号集{0，1}信息论与编码基础香农三大定理简介1、信源编码器信源编码器I{A,B,…,Z}二进符号码符号集{0，1}信源编码器II码符号集{点/划/字母间隔/单词间隔}2）摩尔斯电码b、举例2

2、）摩尔斯信源编码器b、举例符号电平二进代码点划字母间隔单词间隔+—+++——————————101110000000000信息论与编码基础香农三大定理简介3）中文电报信源编码器“中”“0022”“01101011011100111001”1、信源编码器b、举例信息论与编码基础香农三大定理简介c、分类等长码变长码中文电报莫尔斯电码有失真编码无失真编码I(S;C)

3、农三大定理简介d、指标1)平均码长code/signcode/N-sign1、信源编码器信息论与编码基础香农三大定理简介2)编码后的信息传输率bit/codebit/coded、指标1、信源编码器信息论与编码基础香农三大定理简介3)编码效率d、指标1、信源编码器信息论与编码基础香农三大定理简介例：二元DMS进行无失真编码H(S)=H(3/4,1/4)=0.811(bit/sign)N=1(code/sign)(bit/code)信息论与编码基础香农三大定理简介例：二元DMS进行无失真编码H(S)=H(3/4,1/

4、4)=0.811(bit/sign)N=2{0,10,110,111}(code/2-sign)(bit/code)信息论与编码基础香农三大定理简介例：二元DMS进行无失真编码H(S)=H(3/4,1/4)=0.811(bit/sign)N=3(bit/code)N=4(bit/code)随着N的增加，平均码长减小，有效性逐步提高；当N趋于无穷时，平均码长可以无限制地减小吗？信息论与编码基础香农三大定理简介2、香农第一定理（可变长无失真信源编码定理）定理4.1设为q元离散无记忆信源S的N次扩展信源，若对进行编码，

5、码符号集，则总可以找到一种编码方法构成惟一可译码，使信源S中每个符号所需的平均编码长度满足：且当时有：信息论与编码基础香农三大定理简介表述二：若R>H(S)，就存在惟一可译变长编码；若R

6、分布，从而使新信源的每个码符号平均所含的信息量达到最大。3）香农第一定理仅是一个存在性定理，没有给出更有效的信源编码的实现方法。2、香农第一定理（可变长无失真信源编码定理）信息论与编码基础香农三大定理简介总结：信源编码器模型性能指标香农第一定理（无失真信源编码定理）平均码长、信息传输率、编码效率0123456701234567YtYt+1a(t)={101001011000001100111011}b={001242425124366675013666}信息论与编码基础香农三大定理简介一、香农第一定理二、香农第二

7、定理三、香农第三定理有效性可靠性矛盾X信息论与编码基础香农三大定理简介1、错误概率误码率误字率1-ppp1-pa1=0p(a1)=ωa2=1p(a2)=1-ωb1=0b2=1p=0.01PE=P(a1)P(b2

8、a1)+P(a2)P(b1

9、a2)=ωp+(1-ω)p=0.01错误概率与那些因素相关？信息论与编码基础香农三大定理简介2、常用判决准则a、MAP准则（MaximumaPosteriori）对于所有的信息论与编码基础香农三大定理简介b、ML准则（MaximumLikelihood）若输入符号等概时似然比2

10、、常用判决准则a、MAP准则（MaximumaPosteriori）信息论与编码基础香农三大定理简介例1重复编码BSC的三次扩展信道(n,1)信息论与编码基础香农三大定理简介n=5PE≈10-5n=7PE≈4×10-7n=9PE≈10-8R=logM/nbit/codeR=logM/5R=logM/7R=logM/9可靠性增强有效性减小矛盾例1重复编码(n,1)信息论与编