信息论与编码民大02-信源与信源熵.ppt

《信息论与编码民大02-信源与信源熵.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、信息与信息熵InformationandEntropy信源的统计特性和数学模型各类信源的信息测度—---信息熵及其性质。9/1/20211信源的统计特性在信息论中，确切地说信源是产生消息(符号)、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。其次，讨论信源的统计特性。客观信源的基本特性是具有随机不确定性。9/1/20212首先讨论离散单个消息(符号)信源（单符号离散信源）。它是最简单的也是最基本的信源，是组成实际信源的最基本单元。其次，讨论实际信源。实际信源不可能仅发送单个消息(符号)，对离散信源而言，发送的是一组消息(符号)串，即

2、一个随机序列（多符号离散信源）；对连续信源而言则是一随机过程（连续信源）。信源的分类讨论9/1/20213在实际问题中，连续的模拟信源往往可以采用两种方法进行分析。一类是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析；另一类则是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。有3类最常用展开式：傅氏级数展开、取样函数展开及K-L展开。9/1/20214单符号离散信源数学模型单符号离散信源的数学模型就是离散型的概率空间：X代表随机变量，指的是信源整体xi代表随机事件的某一结果或信源的某个元素p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的

3、概率。n是有限正整数或可数无限大9/1/20215不确定性与发生概率事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。概率等于1的必然事件，就不存在不确定性。某事件发生所含有的信息量应该是该事件发生的先验概率的函数。用函数f[p(xi)]来表示信息量与先验概率的关系，可以从数学上证明这种函数形式是对数形式。9/1/202161928年，信息论的先驱者之一哈特莱(Hartley)首先研究了具有Nm个组合的单个消息信源。他对这类非概率(实际是等概率)信源进行了研究，并给出了最早的信息度量公式,定义为可能消息量的对数:I=log(1/p(xi))=logNm=mlogNp(x

4、i)=1/Nm9/1/20217用概率测度定义信息量：设离散信源X，其概率空间为如果知道事件xi已发生，则该事件所含有的自信息定义为自信息9/1/20218自信息含义当事件xi发生以前：表示事件xi发生的不确定性。当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。9/1/20219联合自信息量信源模型为其中0≤p(xiyj)≤1(i=1,2,…,n;j=1,2,…,m)则联合自信息量为当X和Y相互独立时，p(xiy

5、j)=p(xi)p(yj)两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。9/1/202110条件自信息量设yj条件下，发生xi的条件概率为p(xi/yj)，那么它的条件自信息量I(xi/yj)定义为自信息量、条件自信息量和联合自信息量之间的关系9/1/202111最简单的通信系统模型：X—信源发出的离散消息集合；Y—信宿收到的离散消息集合；信源X、信宿Y的数学模型为互信息量和条件互信息量P(yj

6、xk)YX9/1/202112互信息量(mutualinformation)yj对xi的互信息量定义为后验概率与先验概率比值的对数。先验概率：信源发出消息xi的概率p(xi)。后

7、验概率：信宿收到yj后推测信源发出xi的概率p(xi/yj)。转移概率：信源发出xi后信宿收到yj的概率p(yj/xi)。9/1/202113条件互信息量消息xi与消息对yjzk之间的互信息量为条件互信息量定义：在给定zk条件下，xi与yj之间的互信息量。9/1/202114信息熵(Entropy)—平均信息量平均信息量—信源熵：自信息的数学期望。信息熵的单位：一般以2为底，其单位为比特/符号。信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，不同的信源因统计特性不同，其熵也不同。9/1/202115信源熵的三种物理含义信源熵

8、有以下三种物理含义。信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量；信源熵H(X)是表示信源输出前，信源的平均不确定性；用信源熵H(X)来表征变量X的随机性(如下例)9/1/202116举例有两个信源，其概率空间分别为信息熵分别为H(X)=-0.99log0.99-0.01log0.01=0.08比特/符号H(Y)=-0.5log0.5-0.5log0.5=1比特/符号可见H(y)