信息论与编码第2章信源与熵

《信息论与编码第2章信源与熵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信源熵2.0信源的数学模型及其分类2.1单符号离散信源2.2多符号离散平稳信源2.3连续信源2.4离散无失真信源编码定理(*)1本节内容通信的根本问题是将信源的输出信息在接收端尽可能精确地复现出来。需要讨论：如何描述信源的输出，即如何计算信源输出的信息量。信源的数学模型信源的分类2什么是信源？信源－信息的发源地，如人、生物、机器等等。由于信息十分抽象，所以我们通过信息载荷者，即消息来研究信源，并将信源的具体输出称作消息。消息的形式多样：离散消息（如汉字、符号、字母）；连续消息（如模拟图像、语音）。信源建模：信源消息中的信息是一个时变的不可预知的函数。描述信源消息或对信源建模，随机过

2、程是一个有效的工具，通过随机过程的特性来描述信源的特性。3信源输出的描述信源发出消息，消息载荷信息，而消息又具有不确定性，所以可用随机变量或随机序列（矢量）来描述信源输出的消息，或者说用概率空间来描述信源。信源的输出被抽象为一个随机变量序列（随机过程）。信源X1,X2,X3,……Xi为{a1,a2,a3,…am}或(a,b)4离散信源和连续信源用随机变量或随机矢量来描述信源的输出消息，用概率空间来描述信源时，则信源就是一个概率场：离散信源：信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。比如平面图像X(x，y)和电报、书信、文稿等等离散信源只涉及一

3、个随机事件，称为单符号离散信源，可用离散随机变量来描述；若离散信源涉及多个随机事件，称为多符号离散信源，可用离散随机矢量来描述。连续信源：信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。比如人发出的语音信号X(t)、模拟的电信号等等5离散和连续信源的数学模型6单/多符号信源模型单符号信源：信源输出的是单个消息符号，用一维离散或连续随机变量X及其概率分布P来描述。多符号信源：信源输出的是多个消息符号，用N维随机矢量，N重离散概率空间的数学模型来描述。如自然语言信源就是把人类的语言作为信源，以汉字为例，就是随机地发出一串汉字序列。我们可以把这样信源输出的

4、消息视为时间上或空间上离散的随机变量序列，即随机矢量。于是，信源的输出可用N维随机矢量(Xk,k=1,2,...,N)来描述，N一般为有限正整数。7多符号信源的数学模型—N重离散概率空间8信源的分类主要基于两方面：1.信源消息取值的集合以及消息取值时刻的集合离散信源、连续信源或数字信源、模拟信源（波形信源）2.信源消息的统计特性由此可分为无记忆信源、有记忆信源、平稳信源、非平稳信源、高斯信源、马尔可夫信源等。实际使用的是二者的组合如离散无记忆信源等。9信源的分类—离散平稳信源如果随机序列中各个变量具有相同的概率分布，则称为离散平稳信源。如果离散平稳信源的输出序列中各个变量是相互独立的，即

5、前一个符号的出现不影响以后任何一个符号出现的概率，则称为离散无记忆平稳信源，否则称为离散有记忆平稳信源10信源的分类—无记忆信源如果信源发出的消息符号间彼此是统计独立的，并且它们具有相同的概率分布，且N维随机矢量的联合概率分布为：我们称之为离散无记忆信源。同样，若N维随机矢量中X每个变量Xk是连续随机变量，且相互独立，则X的联合概率密度函数为，这种信源叫连续型无记忆信源11信源的分类—有记忆信源一般情况下，信源发出的符号间是彼此相互依存和关联的（如小说文字），是有记忆信源，通常用联合概率或条件概率来描述这种关联性。按记忆长度划分有：有限记忆信源（马尔可夫信源）有限状态马尔可夫链无限记忆信

6、源12混合信源按信源输出时间和取值划分：时间连续，取值连续或随机的，称之为随机波形信源，表示为X(t)。输出既有连续分量又有离散分量，称之为混合信源。重点研究离散信源产生消息的不确定性，不研究信源的内部结构和消息的如何产生。13信源的分类随机过程{x(t)}：随机波形信源信源输出的消息是时间（或空间）上和取值上都是连续的函数离散无记忆信源的N次扩展信源：输出的平稳随机序列X中各随机变量统计独立。每个随机变量xi取值于同一概率空间。每N个符号构成一组，等效为一个新的信源随机变量离散信源：可能输出的消息数有限连续信源：可能输出的消息数是无限的或不可数的非平稳信源平稳信源连续平稳信源离散平稳

7、信源：输出的随机序列X中每个随机变量取值是离散的，并且随机矢量X的各维概率分布不随时间平移而改变有限记忆信源：输出的平稳随机序列X中各随机变量之间有依赖关系，但记忆长度有限马尔可夫信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限，并满足马尔可夫链的条件式随机序列14第2章信源熵2.0信源的数学模型及其分类2.1单符号离散信源2.2多符号离散平稳信源2.3连续信源2.4离散无失真信源编码定理15第2章信源熵2.1单符号