[工学]第三章 信源及信源熵

《[工学]第三章 信源及信源熵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章：信源及信源熵一、信源的分类及其数学模型二、离散单符号信源三、离散多符号信源四、连续信源信源的分类及其数学模型第三章：信源及信源熵信源是产生消息（符号）、消息序列（符号序列）以及时间连续的消息的来源。信源的主要问题：如何描述信源的输出（信源的建模问题）√怎样确定信源产生的信息量、产生信息的速率√信源编码（第五章）多符号信源连续信源信源分类单符号信源时间（空间）取值信源种类举例消息的数学描述离散离散离散信源（数字信源）文字、数据、离散化图象离散随机变量序列离散连续连续信源连续随机变量序列连续连续波形信源（模拟

2、信源）语音、音乐、热噪声、图形、图象随机过程连续离散不常见根据信源输出消息在时间和取值上是离散或连续分类：本章重点研究离散平稳无记忆信源，以及较简单的有记忆信源－马尔可夫信源。根据信源发出的单个消息取值是离散值还是连续值，信源可分为离散信源/连续信源。根据信源发出的消息之间是否有统计依赖关系，信源可分为有记忆信源/无记忆信源。信源的分类及其数学模型多符号信源连续信源信源分类单符号信源第三章：信源及信源熵根据信源发出的消息序列中的消息，统计特性是否保持不变，信源可分为平稳信源/非平稳信源。信源的分类及其数学模型多符

3、号信源连续信源信源分类单符号信源第三章：信源及信源熵离散单符号信源离散单符号信源：输出离散取值的单个符号的信源。离散单符号信源是最简单、最基本的信源，是组成实际信源的基本单元，可以用一个离散随机变量来表示。离散单符号信源X的概率空间：多符号信源连续信源单符号信源信源分类第三章：信源及信源熵离散单符号信源（续）信源输出的所有消息的自信息的统计平均值，定义为信源的平均自信息（信息熵）：信息熵表示离散单符号信源的平均不确定性。多符号信源连续信源单符号信源信源分类第三章：信源及信源熵一：信源的分类及其数学模型二：离散单符

4、号信源三：离散多符号信源1.预备知识2.离散平稳无记忆信源3.离散平稳有记忆信源4.马尔可夫信源5.信源的相关性和剩余度四：连续信源第三章：信源及信源熵1.预备知识实际信源输出往往是符号序列，称为离散多符号信源。离散多符号信源可以用随机矢量/随机变量序列来描述，即一般来说，信源的统计特性随着时间的推移而有所变化。为了便于研究，我们常常假定在一个较短的时间段内，信源是平稳信源。单符号信源连续信源多符号信源信源分类第三章：信源及信源熵1.预备知识（续1）定义1：对于离散随机变量序列，若任意两个不同时刻i和j(大于1的

5、任意整数)信源发出消息的概率分布完全相同，即对于任意的，和具有相同的概率分布。也就是即各维联合概率分布均与时间起点无关的信源称为离散平稳信源。单符号信源连续信源多符号信源信源分类第三章：信源及信源熵1.预备知识（续2）对离散平稳信源，由联合概率与条件概率的关系可以推出：因此：单符号信源连续信源多符号信源信源分类第三章：信源及信源熵1.预备知识（续3）定义2：随机变量序列中，对前N个随机变量的联合熵求平均称为平均符号熵：如果当时上式极限存在，则被称为熵率，或极限熵，记为单符号信源连续信源多符号信源信源分类第三章：信

6、源及信源熵2.离散平稳无记忆信源为了研究离散平稳无记忆信源的极限熵，把信源输出的符号序列看成是一组一组发出的。例1：电报系统中，可以认为每2个二进制数字组成一组。这样信源输出的是由2个二进制数字组成的一组组符号。这时可以将它们等效看成一个新的信源，它由四个符号00，01，10，11组成，把该信源称为二进制无记忆信源的二次扩展。例2：如果把每三个二进制数字组成一组，这样长度为3的二进制序列就有8种不同的符号，可等效成一个具有8个符号的信源，把它称为二进制无记忆信源的三次扩展信源。单符号信源连续信源多符号信源信源分类

7、第三章：信源及信源熵2.离散平稳无记忆信源（续1）假定信源输出的是N长符号序列，把它看成是一个新信源，称为离散平稳无记忆信源的N次扩展信源，用N维离散随机矢量来表示：N次扩展信源的概率空间为：是一个长为N的序列，单符号信源连续信源多符号信源信源分类第三章：信源及信源熵2.离散平稳无记忆信源（续2）N次扩展信源的熵：离散平稳无记忆信源的N次扩展信源的熵等于离散单符号信源熵的N倍：单符号信源连续信源多符号信源信源分类第三章：信源及信源熵2.离散平稳无记忆信源（续3）离散平稳无记忆信源的熵率：单符号信源连续信源多符号信

8、源信源分类第三章：信源及信源熵2.离散平稳无记忆信源（续4）例1：设有一离散无记忆信源X，其概率空间为求该信源的熵率及二次扩展信源的熵。单符号信源连续信源多符号信源信源分类第三章：信源及信源熵2.离散平稳无记忆信源（续5）解：离散单符号信源熵比特/符号熵率：单符号信源连续信源多符号信源信源分类第三章：信源及信源熵2.离散平稳无记忆信源（续6）二次扩展信源的概率空间：二次扩