第二章shannon信息论述评

第二章shannon信息论述评

ID:33057648

大小:201.22 KB

页数:17页

时间:2019-02-19

第二章shannon信息论述评_第1页
第二章shannon信息论述评_第2页
第二章shannon信息论述评_第3页
第二章shannon信息论述评_第4页
第二章shannon信息论述评_第5页
资源描述:

《第二章shannon信息论述评》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库

1、第二章Shannon信息论述评Shannon信息论建立在随机事件统计理论的基础上〔门。为此,我们先简述基于频率论解释的概率理论,下一章再阐述更广意义的概率理论[2]。这里Shannon信息论只是取其要义,我们尽可能使用浅显易懂的方式叙述,以照顾不熟悉Shannon理论的读者。本章还含有对经典信息理论的评论,熟悉Shannon理论的读者也不妨选看。2.1基于频率解释的概率论概率论诞生于赌博问题,这里我们也且用掷骰子为例来说明什么是概率。一个骰子可能呈现的数字是1,2,3,4,5,6中的一个。一般情况下,每个

2、数字出现的儿率大致相等;比如你掷N=600下,1出现的次数N/大约为100下。设为110下,则110/600叫做1出现的几率(或数学几率)。当掷的次数无穷多时,这个几率就无穷地接近1/6,1/6就是1出现的概率,即P(X=1)=1/6英屮X表示随机变量,对于本例它的取值范围是集合4={1,2,3,4,5,6},即XeAo设一般情况下,人={"兀2,・・・,心},按频率论解释,概率P(X=劝被定义为:实验次数N为无穷大时,X=xf的次数M和N之比的极限;即(2.1.1)按照现代概率论,只要某种测度符合概率的

3、公理化定义,它就构成概率测度。这一公理化定义是:设。是一集合,它的一些子集构成Borel域P,存在一个映射—[0,1],它满足条件(1)P(Q)=1;(2)对于任一ApB,有0WP(A)W1;(3)若人和勺互不相交,则称p为0上的概率测度。其屮(3)被称为概率的可加性要求。按照这一定义,除了基于频率论解释的概率,还存在其他类型的概率(见第三章)。下面我们简单地用Pg)表示P(X二占)。对于掷骰子,因为下式P(1)=P(2)=...=P(6)=1/6成立,所以我们称X是等概率事件。如果骰子中放了铅,重心不在

4、骰子中心,则上式将不再成立,各数字将不再是等概率事件。但是无论如何,总有E^=ij(2.1.2)上式又叫归一化条件。再设YWB={川,),2,.•・,*}。我们称P{Xhyj)=P(X=xhY=yj)j为占和力的联合概率。根据定义有(2.1.3)(2.1.3)我们定义P(Xiyj)=P(Xi,y})/P(yj)(2.1.4)是给定条件力时对的条件概率;同理,条件概率P(y)xi)=P(xhyj)/P(Xj)(2.1.5)由(2.1.5)和(2.1.6)得Pg®)=Pg)P®比)/P(yj)(2.1.刀

5、这就是著名的Bayes公式。若比)=P®),则意味着Y=yj和X=£无关,这时Pg」)=P(石)P(yj)以上各种概率都是归一化的。当4,B为连续事件,比如为[0,1](实数区间)时,Pg)和P®)就变为卩⑴和p(y)(大写P变为小写°),p(兀)和p(刃不再表示概率,而是表示概率密度。p仕,刃等同理。这时有(2.1.8)其他类推。2.2经典通信模型Shannon信息论中的通信模型如图2.2.1所示。如杲把编译图2.2.1Shannon通信模型码部分并入信道,则该模型如图2.2.2所示。我们且讨论信源离散

6、时的情况。这时图2.2.2可以具体地变为图2.2.30图2.2.3中从占到力的箭头表示X=£时丫=力发生的条件概率是P(”I兀我们用?(/IX)表示m行n列的条件概率矩阵,因为它是物理信道的抽象,信息论屮也称之为信道。图2.2.2简化的Shannon通信模型图2.2.3有噪声通信模型2.3经典信息量公式和Kullback信息公式为了便于讨论,我们从单个事件之间的信息量公式出发,然后推导tBShannon互信息公式和Shannon爛公式。经典理论中,信息量是对减少的不确定性的度量。它的数学表示通常被写为:(

7、2.3.1)其中/(X/,yj)是刃提供的关于七的信息量;Pg)是占的先验概率,pg

8、乃)是占的后验概率(给定刃时)。log表示对数,可以是自然对数(以e为底),这时信息量单位是n“t;也可以是以2为底,这时信息量的单位是bit或比特。信息论中一般用bit-注意:上式所求信息是一系列X和Y发生后,回过头来看刃提供关于七的信息,而不是某一次力提供的关于占的信息。因为如果某次占不相应力出现时,就不会有这样的信息。这就是为什么Shannon奠基性论文屮没有该公式而且也不谈单个信号的信息。后面我们将看到,仅当我们

9、考虑预测和检验,并且占确实相应预测乃发生时,上式才能用于单个信号一一比如语句“明天有雨”或电压表读数“230伏”一一的信息的度量。而经典信息论不考虑预测信息。上式也可以写成七命七諾^(2.3.2)等式右边两项分别表示先验不确定性和后验不确定性。若后验不确定性为0,则公式变为(2.3.3)据Bayes公式可得(2.3.4)这表明两个事件相互提供的信息量必然相等。若两事件相互无关,则PgIyj)=P(xi)且P(yjIXi)=P(

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。