资源描述：
《信息论与编码理论基础(第3章)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第三章：信源编码-离散信源无失真编码§3.1信源及其分类§3.2离散无记忆（简单）信源的等长编码§3.3离散无记忆（简单）信源的不等长编码§3.4最佳不等长编码§3.1信源及其分类信源的概念直观地理解，信源就是信息的来源。但是这里必须要注意两点：在一个固定的时刻，信源发出的是一个随机变量。随着时间的延续，信源发出一个又一个随机变量，称之为一个随机过程。因此，一般的信源种类太多，其统计性质太复杂。怎样做工程实用的简化？离散信源信源每隔一个定长时间段就发出一个随机变量；随着时间的延续，信源发出的是随机变量序列…U-2U-1U0U1U2…，其中(1)Uk为第k个时间段发出的随机变量；(2
2、)每个Uk都是一个离散型的随机变量。离散无记忆信源离散无记忆信源是这样的离散信源：随机变量…、U-2、U-1、U0、U1、U2、…相互独立。离散无记忆简单信源离散无记忆简单信源是这样的离散无记忆信源：随机变量…、U-2、U-1、U0、U1、U2、…具有相同的概率分布。§3.1信源及其分类总结：离散无记忆简单信源就是时间离散、事件离散、各随机变量独立同分布的信源。本课程学习所面对的信源将主要是离散无记忆简单信源。一般的信源连续信源：有时间连续的信源，也有事件连续的信源；有记忆信源：信源在不同时刻发出的随机变量相互依赖；有限记忆信源：在有限时间差内的信源随机变量相互依赖；非简单信源：信
3、源在不同时刻发出的随机变量具有不同的概率分布。马尔可夫信源：信源随机过程是马尔可夫过程。以下将顺序地叙述下面的相关概念：§3.1信源及其分类§3.2离散无记忆（简单）信源的等长编码（1）设有一个离散无记忆简单信源，信源发出的随机变量序列为：…U-2U-1U0U1U2…。设信源随机变量U1的事件有K个：{a1,a2,…,aK}，则L维信源随机向量(U1U2…UL)的事件有KL个：{(u1u2…uL)
4、其中每个分量ul跑遍{a1,a2,…,aK}}。P((U1U2…UL)=(u1u2…uL))=P(U1=u1)P(U2=u2)…P(UL=uL)=P(U1=u1)P(U1=u2)…P(U
5、1=uL)=q(u1)q(u2)…q(uL)§3.2离散无记忆（简单）信源的等长编码（2）设有一个含D个字母的字母表。对于(U1U2…UL)的每一个事件(u1u2…uL)，都用一个字母串(c1c2…)来表示。这种表示方法称为D元编码；每一个事件(u1u2…uL)所对应的字母串(c1c2…)称为一个码字。例：离散无记忆简单信源发出的随机变量序列为：…U-2U-1U0U1U2…。其中U1的事件有3个：{晴,云,阴}。(U1U2)有9个事件{(晴晴),(晴云),(晴阴),(云晴),(云云),(云阴),(阴晴),(阴云),(阴阴)}。用字母表{0,1}对(U1U2)的事件进行2元编码如下：
6、（晴晴）→0000，（晴云）→0001，（晴阴）→0011，（云晴）→0100，（云云）→0101，（云阴）→0111，（阴晴）→1100，（阴云）→1101，（阴阴）→1111。§3.2离散无记忆（简单）信源的等长编码（3）如果限定所有码字的长度都为N（即每个码字都是一个长度为N的字母串，或称为N维向量），则称此编码为等长编码，能够选择的不同码字的个数为DN。（4）如果限定每个码字的长度都≤N（即每个码字都是一个长度≤N的字母串），则称此编码为不等长编码，能够选择的不同码字的个数为D1+D2+…+DN=D(DN-1)/(D-1)。（注意：在不等长编码中，并不能同时使用D(DN-1
7、)/(D-1)个不同的码字。一个长度为2的字母串究竟是两个长度为1的码字相连，还是一个长度为2的码字？无法识别。而在等长编码中不存在这样的识别问题）§3.2离散无记忆（简单）信源的等长编码（本节以下将专门讨论等长编码）（5）编码速率R=NlogD/L。（单位时间内码可以携带的信息量，反映了码的能力）关于编码速率的说明：实际的编码速率的计算公式为R=NlogD/L，似乎可以人为地任意设置N和L，因而可以人为地任意设置编码速率。事实并非如此，存在着编码设备的编码速率R0，它是编码设备的性能指标。这就是说，选择N和L，必须使得实际的编码速率NlogD/L不能超过编码设备的编码速率R0：R
8、=NlogD/L≤R0。§3.2离散无记忆（简单）信源的等长编码（6）无错编码(U1U2…UL)的不同事件用不同的码字来表示。能够实现无错编码的充要条件是DN≥KL。（即编码速率R=NlogD/L≥logK）（7）有错编码(U1U2…UL)的有些不同事件用相同的码字来表示。（8）有错编码的译码方法与“译码错误”概率当使用有错编码时，必须给出译码方法（即：一个码字可能表示几个不同的事件，究竟翻译成哪个事件）。“译码错误”的概率定义为pe=P{(U1U2…UL)=(u1u
