信源编码一离散信源无失真编码

《信源编码一离散信源无失真编码》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章信源编码（一）离散信源无失真编码3.1信源及其分类3.2离散无记忆信源的等长编码3.3离散无记忆信源的不等长编码3.4最佳不等长编码3.1信源及其分类信源及其分类离散信源连续信源无记忆信源有记忆信源简单信源－独立同分布平稳信源，各态历经源M阶记忆源时间离散连续源随机波形源3.2离散无记忆源的等长编码离散无记忆源字母表A={a1,…,aK},概率分别为p1,…,pK,长为L的源输出序列uL={u1,…,uL}，共有KL种序列码符号字母表B={b1,…,bD},以码符号表示源输出序列，D元码等长D元码，能够选择的不同码字的个数为DN，不等长D元码的个数,能够选择的不同码字的个数为D1+D

2、2+…+DN=D(DN-1)/(D-1)离散无记忆源的等长编码编码速率R=NlogD/L。无错编码(U1U2…UL)的不同事件用不同的码字来表示。能够实现无错编码的充要条件是DN≥KL。（即编码速率R=NlogD/L≥logK）有错编码(U1U2…UL)的有些不同事件用相同的码字来表示。有错编码的译码方法与“译码错误”概率当使用有错编码时，必须给出译码方法（一个码字究竟翻译成哪个事件）。“译码错误”的概率定义为pe=P{(U1U2…UL)=(u1u2…uL)

3、(u1u2…uL)的码字在译码时并不译为(u1u2…uL)}。离散无记忆源的等长编码关于编码速率的说明：编码速率本来是编码设备的性能

4、指标。这就是说，首先有了编码设备的编码速率R0，然后选择N和L，使得实际的编码速率NlogD/L不能超过编码设备的编码速率R0：R=NlogD/L≤R0。当编码速率R比较高时，可以选择比较大的N，因此可供选择的码字比较多，因此更容易设计出能够快速识别的码，降低译码的难度。当编码速率R比较低时，意味着使用低成本的编码设备。此时只能选择不大的N，因此更需要编码的技巧。离散无记忆源的等长编码在无错编码的前提下，编码的最低代价当R≥logK时，能够实现无错编码。当R

5、形。但如果H(U1)R>H(U1)时，虽然无论怎样编码都是有错编码，但可以适当地编码和译码使译码错误的概率pe任意小。这就是所谓“渐进无错编码”。离散无记忆源的等长编码渐进无错编码（简单地说就是：当R>H(U1)时，可以适当地编码和译码使得译码错误的概率pe任意小。严格地说就是：）设给定了编码设备的编码速率R0，R0>H(U1)。则对任意的ε>0，总存在一个L0，使得对任意的L>L0，都有对(U1U2…UL)的等长编码和对应的译码方法，满足①实际的编码速率R=NlogD/L≤R0，②译码错误的概率pe<ε。（11）渐进无错编码的原理大数定律。随着L的

6、增加，(U1U2…UL)的所有事件中，某些事件所占的比例越来越小（→0），其发生的概率却越来越大（→1）。离散无记忆源的等长编码不能渐进无错的编码（简单地说就是：当R

7、降低效率。不能保证单义可译，但可以保证非单义可译引起的误差可以渐进的任意小。如何证明？弱、强e典型序列集定义3.2.1：令H(U)是集{U,p(ak)}的熵，e是正数，集合定义为给定源U输出的长为L的典型序列集。定义3.2.2：令H(U)是集{U,p(ak)}的熵，e是正数，集合——弱e-典型序列集定义为给定源输出的长为L的e－典型序列集，其中Lk是在L长序列中符号ak出现的次数——强e-典型序列集例3.2.2典型二项序列出现的概率：当L足够大，信源划分定理定理3.2.1:给定信源｛U,p(ak)｝和e>0,当L∞，Pr{T(L,e)}1,或对所有e>0，存在有正整数L0，使得当L>L

8、0时有信源划分定理系1：特定典型序列出现的概率若uLTU(L,e),则信源划分定理典型序列的数目：系2：当L足够大时，对于给定的信源和e>0,典型序列的个数｜TU(L,e)｜满足信源划分定理信源消息可以分为2组：（渐进等同分割性）1、典型序列高概率集，渐进等概序列，AEP序列2、非典型序列低概率集编码速率和等长编码定理编码速率：R=(1/L)logM=(N/L)logD,M为码字总数可达速率：对于给定信源和编码速率R以