第七章-信源与信源编码

《第七章-信源与信源编码》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第七章信源和信源编码信源分类通信的信息论基础信息熵、互信息无失真离散信源编码信息率失真函数限失真信源编码连续信源的限失真编码、PCM原理采样定理HailiangXiongShandongUniversity17.2信息及其度量通信的目的：信息传递。1.信息的含义：消息是信息的具体表现形式，信息是本质的、抽象的内容。信息是消息中的不确定内容（不确定性越大，则包含的信息越多）通常理解：事件发生的可能性越大，信息量越少；反之，信息量越大。信息是消息中的不确定性的描述。2.信息的定量描述：信息量若干独立信息之和的信息量是

2、所含信息量的线性叠加，具有相加性。HailiangXiongShandongUniversity2信源的统计特性描述信源的分类：不同的信源输出的消息的随机性质不同，可以根据消息的不同的随机性质来对信源进行分类：按照某时刻信源输出消息的取值集合的离散性和连续性,信源可分为离散信源和连续信源;按照信源输出消息的所对应的随机序列中随机变量前后之间有无依赖关系,信源可分为无记忆信源和有记忆信源;按照信源输出消息的所对应的随机序列的平稳性,信源可分为平稳信源和非平稳信源;HailiangXiongShandongUniversity3信源的

3、统计特性描述离散信源和连续信源（1）用离散随机变量X表示单符号离散信源（一个符号表示一完整消息，符号取值可列），X的可能取值为信源发出的各种不同符号，X的概率分布为各符号的先验概率。离散无记忆信源：序列中的前后消息相互统计独立；离散有记忆信源：序列中的前后消息不满足统计独立的条件。（2）连续信源：信源的取值为无穷不可数的连续值，其概率分布用概率密度函数表示。HailiangXiongShandongUniversity4信源的统计特性描述单消息（符号）信源:（1）单消息离散信源：仅输出一个离散符号，是取值离散的随机变量例：若信源X的

4、取值有n个，x，x，…，x12n各符号概率分布P(x)，P(x)，…，P(x)12n其统计描述可表示为Xxxx12,,...npx()Px(),Px(),Px...()in12（2）单消息连续信源：仅输出一个符号，它的取值是连续的随机变量。其统计描述可表示为Xx(,)abpx()px()HailiangXiongShandongUniversity5离散消息序列信源的统计特性若随机矢量X的具体取值（样值）为x=(xx…x)，12L样值x对应概率(L维的联合概率）为P(x)=P(xx

5、…x)=P(x)P(x

6、x)P(x

7、xx)…P(x

8、x…xx)12l121321nn-121则离散消息序列的统计特性可描述为XLaaa......1mnLPx()Pa()...1PaPa()...m()nL注：这里的a对应与由L个x组成的序列ml当P=P(xx…x)=ΠP(x)时，为离散无记忆信源，该式仅在X12nii平稳无记忆的条件下成立，这时序列中各消息统计特性与序列所处时间（位置）无关，故称平稳无记忆信源。HailiangXiongShandongUniversity6离散无记忆信源举例：脉冲编码调制

9、（PCM）属于这类信源，为分析方便，这里取3位码，假设出现0和1的概率相等，都为1/2,则有：3X000001...1101113223Px()PP(0)PP(0)(1)...PP(0)(1)(1)000001...1101111818...1818掷两枚硬币X00011011Px()1/41/41/41/4HailiangXiongShandongUniversity7离散有记忆信源举例：带有反馈的编码器的输出XrYr+TYr-1有记忆信源：输出的随机序列X中各随机

10、变量之间有依赖关系。m阶马尔可夫信源：信源每次发出的符号只与前m个符号有关，与更前面的符号无关。Px(

11、)xxxxxxxii2i1i1i2i31imiPxxxx(

12、)(1,2,xiN)ii1i2i3imHailiangXiongShandongUniversity87.3信源的信息度量：信息熵H(X)消息：是指包含有信息的语言、文字和图像等。信号：是消息的物理体现。信息：是事物运动状态或存在方式不确定性的描述。信源输出的是消息，消息的内涵是信息，信息主要特征是具有不确定性。单个离散消息的自信息量：1I(x

13、)loglogp(x)iip(x)i（对数以2为底单位比特；以自然对数为底单位奈特）自信息量的性质：I(x)是非负值；i当p(x)=1时，I(x)=0，当p(x)=0时，I(x)=∞；iiiiI