信息论第3章信源及信息熵

《信息论第3章信源及信息熵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章信源及信源熵重庆交通大学计算机与信息学院通信工程系李益才2012年8月第3章信源及信息熵3.1信源的分类及其数学模型3.2离散单符号信源3.3离散多符号信源3.4*连续信源第3章信源及信息熵信源(InformationSource)是信息的来源，是产生消息（符号）、时间离散的消息序列（符号序列）以及时间连续的消息的来源。信源输出的消息都是随机的，因此可用概率来描述其统计特性。在信息论中，用随机变量X、随机矢量X、随机过程{X(e,t)}分别表示产生消息、消息序列以及时间连续消息的信源。信源的主要问

2、题：如何描述信源（信源的数学建模问题）怎样计算信源所含的信息量怎样有效的表示信源输出的消息，也就是信源编码问题3.1信源的分类及其数学模型信源的分类由多种方法，我们常根据信源输出的消息在时间和取值上是离散或连续进行分类：时间（空间)取值信源种类举例数学描述离散离散离散信源（数字信源）文字、数据、离散化图象离散随机变量序列离散连续连续信号跳远比赛的结果、语音信号抽样以后连续随机变量序列连续连续波形信源（模拟信源）语音、音乐、热噪声、图形、图象随机过程连续离散不常见表3.1信源的分类3.1信源的分类及其数学

3、模型我们还可以根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源，根据随机变量间是否统计独立将信源分为有记忆信源和无记忆信源。一个实际信源的统计特性往往是相当复杂的，要想找到精确的数学模型很困难。实际应用时常常用一些可以处理的数学模型来近似。随机序列，特别是离散平稳随机序列是我们研究的主要内容。随机序列3.2离散单符号信源输出单个离散取值的符号的信源称为离散单符号信源。它是最简单也是最基本的信源，是组成实际信源的基本单元。它用一个离散随机变量表示。信源所有可能输出的消息和消息

4、对应的概率共同组成的二元序对[X,P(X)]称为信源的概率空间：信源输出的所有消息的自信息的统计平均值定义为信源的平均自信息量（信息熵），它表示离散单符号信源的平均不确定性：3.3离散多符号信源定义3.1：对于随机变量序列X1,X2,…,Xn,…，在任意两个不同时刻i和j(i和j为大于1的任意整数)信源发出消息的概率分布完全相同，即对于任意的N，N=0,1,2,…，XiXi+1…Xi+N…和XjXj+1…Xj+N…具有相同的概率分布。也就是即各维联合概率分布均与时间起点无关的信源称为离散平稳信源。3.3

5、离散多符号信源对于离散多符号信源,我们引入熵率的概念，它表示信源输出的符号序列中，平均每个符号所携带的信息量。定义3.2随机变量序列中，对前N个随机变量的联合熵求平均：称为平均符号熵。如果当时上式极限存在，则称为熵率，或称为极限熵，记为3.3.1离散平稳无记忆信源离散平稳无记忆信源输出的符号序列是平稳随机序列，并且符号之间是无关的，即是统计独立的。假定信源每次输出的是N长符号序列，则它的数学模型是N维离散随机变量序列：X=X1X2…XN，并且每个随机变量之间统计独立。同时，由于是平稳信源，每个随机变量的

6、统计特性都相同，我们还可以把一个输出N长符号序列的信源记为：根据统计独立的多维随机变量的联合熵与信息熵之间的关系，可以推出：离散平稳无记忆信源的熵率：3.3.2离散平稳有记忆信源实际信源往往是有记忆信源。对于相互间有依赖关系的N维随机变量的联合熵存在以下关系（熵函数的链规则）：定理3.1对于离散平稳信源，有以下几个结论：（1）条件熵随N的增加是递减的；（2）N给定时平均符号熵大于等于条件熵，即（3）平均符号熵随N的增加是递减的；（4）如果，则存在，并且条件熵随N的增加是递减的L给定时平均符号熵大于等于条

7、件熵结合结论1：平均符号熵随N的增加是递减的；运用结论2得：如果，则3.3.3马尔可夫信源有一类信源，信源在某时刻发出的符号仅与在此之前发出的有限个符号有关，而与更早些时候发出的符号无关，这称为马尔可夫性，这类信源称为马尔可夫信源。马尔可夫信源可以在N不很大时得到。如果信源在某时刻发出的符号仅与在此之前发出的m个符号有关，则称为m阶马尔可夫信源，它的熵率：通常记作：（马尔可夫性）（平稳性）3.3.3马尔可夫信源马尔可夫信源是一类相对简单的有记忆信源，信源在某一时刻发出某一符号的概率除与该符号有关外，只与

8、此前发出的有限个符号有关。因此我们把前面若干个符号看作一个状态，可以认为信源在某一时刻发出某一符号的概率除了与该符号有关外，只与该时刻信源所处的状态有关，而与过去的状态无关。信源发出一个符号后，信源所处的状态即发生改变，这些状态的变化组成了马氏链。图3.1马尔可夫信源3.3.3马尔可夫信源对于一般的m阶马尔可夫信源，它的概率空间可以表示成：令，从而得到马尔可夫信源的状态空间：状态空间由所有状态及状态间的状态转移概率组成。通过引入状态转移概率