《信源及信源熵》PPT课件

《《信源及信源熵》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章信源及信源熵信源及信源熵2.1信源的数学模型和分类2.2离散信源熵和互信息2.3离散序列信源的熵2.4冗余度2.5连续信源和波形信源2.1信源的数学模型和分类信息论对信源研究的内容：信源的建模：用恰当的随机过程来描述信号关心角度：信号中携带的信息信源输出信号中携带信息的效率的计算熵率、冗余度信源输出信息的有效表示信源编码信息论不研究信源的内部结构，不研究信源为什么产生和怎样产生各种不同的、可能的消息，而只研究信源的各种可能的输出，以及输出各种可能消息的不确定性。信源特性与分类信源的统计特性1）什么是信源？信源是信息

2、的来源，是产生消息（符号）、消息序列（符号序列）以及连续消息的来源。实际通信中常见的信源有：语音、文字、图像、数据…。2）信源的主要特性信源的最基本的特性是具有统计不确定性，即信源发出的消息是不确定的、随机的，因此可以用随机变量、随机矢量或随机过程来描述信源输出的消息。一般使用一个样本空间及其概率测度——概率空间（信源空间）来描述信源，此概率空间也称为信源的数学模型。一、离散信源和连续信源离散信源信源发出的消息在时间上和幅度上是离散分布的。信源是由有限或无限个取值离散的符号。例如：投硬币、书信文字、计算机的代码、电报符号

3、、阿拉伯数字码等等。连续信源信源发出的消息在时间上和幅度上是连续分布的。信源符号集A的取值是连续的，或者取值为实数集（－∞，＋∞）。例如：语音信号、热噪声信号、图像等等。二、离散信源的数学模型（一）单消息（符号）信源信源可能输出的符号集的取值是有限的或可数的，而且每次只输出其中一个符号代表一个消息。它是最简单、最基本的信源，是组成实际信源的基本单元。单符号离散信源的数学模型我们可用一维离散型随机变量X来描述单符号离散信源输出的消息。这个随机变量X的样本空间就是符号集A={a1a2…aN}；而X的概率分布就是各消息出现的先

4、验概率，信源的概率空间必定是一个完备集（即∑P＝1）。该信源的数学模型就是离散型的概率空间，我们可以用信源取值随机变量的范围X和对应概率分布P(x)共同组成的二元序对[X,P(x)]来表示。当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以，概率空间能表征这离散信源的统计特性，因此有时也把这个概率空间称为信源空间。信源空间：显然有：XP（x）＝a1a2…aNP(a1)P(a2)…P(aN)例：对于二进制数据、数字信源：X={0,1}，若这两个符号是等概率出现的，则有：XP（x）＝

5、a1=0a2=1P(a1)=0.5P(a2)=0.5（二）多符号离散信源是发出符号序列的信源信源每次发出一组含两个以上信源符号的符号序列代表一个消息。又叫作离散信源的N次扩展。信道的输入端与输出端对应，都是一个由同样个数的符号所组成的符号序列代表的消息。平稳信源很多实际信源输出的消息往往是由一系列符号序列所组成的。可以把这种信源输出的消息看做时间上或空间上离散的一系列随机变量，即为随机矢量。这时，信源的输出可用N维随机矢量X=(X１，X２…XN)来描述，其中N可为有限正整数或可数的无限值。这N维随机矢量X有时也称为随机序

6、列。一般来说，信源输出的随机序列的统计特性比较复杂，分析起来也比较困难。为了便于分析，我们假设信源输出的是平稳的随机序列，也就是序列的统计性质与时间的推移无关。很多实际信源也满足这个假设。若在信源输出的随机序列X=(Ｘ１，Ｘ２，…，ＸＮ)中，每个随机变量Xi(i=1,2,…，N)都是取值离散的离散型随机变量，即每个随机变量Xi的可能取值是有限的或可数的；而且随机矢量X的各维概率分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率分布都相同。这样的信源称为离散平稳信源。如中文自然语言文字，离散化平面灰度图像

7、都是这种离散型平稳信源。离散无记忆信源在某些简单的离散平稳信源情况下，信源先后发出的一个个符号彼此是统计独立的。也就是说发出的信源发出的符号是相互独立的，发出符号序列中各个符号之间也是相互独立的。我们称由信源空间［X，P(x)］描述的信源X为离散无记忆信源。这类信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的，各个符号的出现概率是其自身的先验概率。信源输出的随机矢量X=(X１X２…XＮ）中，各随机变量Xi(i=1,2,…N)之间是无依赖的、统计独立的，则N维随机矢量的联合概率分布满足：离散无记忆信源X的N次扩展信

8、源我们把这信源X所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。可见，N次扩展信源是由离散无记忆信源输出N长的随机序列构成的信源。离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重空间。有记忆信源一般情况下，信源在不同时刻发出的符号之间是相互依赖的。也就是信源输出的平稳随机序列X中，各随机变量