第2章 2.1信源模型与信息度量-2.9.11yy

《第2章 2.1信源模型与信息度量-2.9.11yy》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基础信息论电子与信息工程系王怿email:ywang@mail.hust.edu.cn南一楼东南角5楼通软中心第2章信源熵信息的度量与信源熵本章内容通信的根本问题是将信源的输出在接收端尽可能精确地复现出来，所以需要讨论如何描述信源的输出，即如何计算信源产生的信息量。即：信息的度量与信源熵2021/9/183信源信源编码信源译码信宿信道编码信道信道译码++加密编码解密译码噪声源SUCXYĈVSn本章内容简介2信源熵（13-14个学时）2.0信源的数学模型及其分类（1学时）离散/连续；平稳/非平稳；2.1信息的度量与信源熵（5-6学时）重点：信息量与熵的概念、性质、应用2.2多符号离散平稳信源（2

2、-3个学时）平均符号熵与极限熵的相关知识；马尔可夫信源。2.3连续信源（2个学时）微分熵的定义及性质；最大熵定理；熵功率2.4离散无失真信源编码定理（2个学时）信源编码的基本概念、目的、思路、术语;定长、变长编码定理4第2章信源熵2.0信源的数学模型及其分类2.1信息的度量与信源熵2.2多符号离散平稳信源2.3连续信源2.4离散无失真信源编码定理5信源的概念信源－信息的发源地，如人、生物、机器等等。由于信息是十分抽象的东西，所以要通过信息载荷者（即消息）来研究信源，这样信源的具体输出称作消息。问题转化：研究信源研究信源的具体输出：消息消息的形式6如：汉字符号字母图像语音离散消息连续消息信源编

3、码器信道译码器信宿干扰源消息信号干扰消息信源的数学模型问题转化：研究信源研究信源的具体输出：消息信源建模工具：信源发出消息，消息载荷信息，具有不确定性，因此，描述信源消息或对信源建模，随机过程是一个有效的工具，随机过程的特性依赖于信源的特性。方法：可用随机变量或随机序列（矢量）来描述信源输出的消息，或者说用概率空间来描述信源。2021/9/187如何描述？信源的分类对信源的分类主要基于两方面的考虑：1.信源消息取值的集合以及消息取值时刻的集合由此可分为离散信源、连续信源数字信源、模拟信源（波形信源）2.信源消息的统计特性由此可分为无记忆信源、有记忆信源、平稳信源、非平稳信源、高斯信源、马尔可

4、夫信源等。实际中经常是它们的组合单符号离散信源离散平稳无记忆信源连续单符号（变量）信源连续有记忆信源连续非平稳信源8离散信源和连续信源信源的输出被抽象为一个随机变量序列（随机过程）。连续信源：如果信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。比如人发出的语音信号X(t)、模拟的电信号等等离散信源：如果信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。比如平面图像X(x，y)和电报、书信、文稿等等9信源X1,X2,X3,……A为{a1,a2,a3,…am}或(a,b)单符号信源与多符号信源单符号信源：信源输出的是单个消

5、息符号，用一维离散或连续随机变量X及其概率分布P来描述。例：阿拉伯数字投硬币掷骰子实际通信系统：信源编码后的数据传输数学模型：多符号信源：信源输出的是多个消息符号，用N维随机矢量，N重离散概率空间的数学模型来描述。例：书面语言文字：字→句子→段落→文章单符号：一维随机变量↔多符号：多(N)维随机变量数学模型：10离散连续离散：连续:取值范围对应区域共条消息N维联合概率密度信源的分类—离散平稳信源如果随机序列中各个变量具有相同的概率分布，则称为离散平稳信源。例：掷硬币、掷骰子结果与时间无关数学模型：如果离散平稳信源的输出序列中各个变量是相互独立的，即前一个符号的出现不影响以后任何一个符号出现的概

6、率，则称为离散无记忆平稳信源，否则称为离散有记忆平稳信源信源X1,X2,X3,……A为{a1,a2,a3,…am}或(a,b)一维平稳二维平稳…N维平稳离散注意：仅有N维的平稳并不符合要求。但不能保证11无记忆信源与有记忆信源无记忆信源：前、后符号间相互独立例：阿拉伯数字信源编码后的数据传输12离散平稳无记忆信源平稳+无记忆信源发出的消息符号间彼此是统计独立的，且它们具有相同的概率分布，且N维随机矢量的联合概率分布为：连续型无记忆信源：数学模型：无记忆信源与有记忆信源（续）有记忆信源：通常情况下，信源发出的符号间是彼此相互依存和关联的如：小说、文字、语音等等。通常用联合概率或条件概率来描述这种

7、关联性。按记忆长度划分有：有限记忆信源如：有限状态马尔可夫链马尔可夫信源（后续课程2.2中介绍）无限记忆信源2021/9/1813信源的分类随机过程{x(t)}：随机波形信源信源输出的消息是时间（或空间）上和取值上都是连续的函数离散无记忆信源的N次扩展信源：输出的平稳随机序列X中各随机变量统计独立。每个随机变量xi取值于同一概率空间。每N个符号构成一组，等效为一个新的信源随机变量离散信源：可能输出