资源描述：
《第二章shannon信息论述评》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第二章Shannon信息论述评Shannon信息论建立在随机事件统计理论的基础上〔门。为此，我们先简述基于频率论解释的概率理论，下一章再阐述更广意义的概率理论[2]。这里Shannon信息论只是取其要义，我们尽可能使用浅显易懂的方式叙述，以照顾不熟悉Shannon理论的读者。本章还含有对经典信息理论的评论，熟悉Shannon理论的读者也不妨选看。2.1基于频率解释的概率论概率论诞生于赌博问题，这里我们也且用掷骰子为例来说明什么是概率。一个骰子可能呈现的数字是1,2,3,4,5,6中的一个。一般情况下，每个
2、数字出现的儿率大致相等；比如你掷N=600下，1出现的次数N/大约为100下。设为110下，则110/600叫做1出现的几率(或数学几率)。当掷的次数无穷多时，这个几率就无穷地接近1/6,1/6就是1出现的概率，即P(X=1)=1/6英屮X表示随机变量，对于本例它的取值范围是集合4={1,2,3,4,5,6},即XeAo设一般情况下，人={"兀2,・・・，心}，按频率论解释，概率P(X=劝被定义为：实验次数N为无穷大时,X=xf的次数M和N之比的极限；即(2.1.1)按照现代概率论，只要某种测度符合概率的
3、公理化定义，它就构成概率测度。这一公理化定义是：设。是一集合，它的一些子集构成Borel域P,存在一个映射—[0,1],它满足条件(1)P(Q)=1；(2)对于任一ApB,有0WP(A)W1;(3)若人和勺互不相交，则称p为0上的概率测度。其屮(3)被称为概率的可加性要求。按照这一定义，除了基于频率论解释的概率，还存在其他类型的概率(见第三章)。下面我们简单地用Pg)表示P(X二占)。对于掷骰子，因为下式P(1)=P(2)=...=P(6)=1/6成立，所以我们称X是等概率事件。如果骰子中放了铅，重心不在
4、骰子中心，则上式将不再成立，各数字将不再是等概率事件。但是无论如何，总有E^=ij(2.1.2)上式又叫归一化条件。再设YWB={川，)，2,.•・，*}。我们称P{Xhyj)=P(X=xhY=yj)j为占和力的联合概率。根据定义有(2.1.3)(2.1.3)我们定义P(Xiyj)=P(Xi,y})/P(yj)(2.1.4)是给定条件力时对的条件概率；同理，条件概率P(y)xi)=P(xhyj)/P(Xj)(2.1.5)由(2.1.5)和(2.1.6)得Pg®)=Pg)P®比)/P(yj)(2.1.刀
5、这就是著名的Bayes公式。若比)=P®)，则意味着Y=yj和X=£无关,这时Pg」)=P(石)P(yj)以上各种概率都是归一化的。当4,B为连续事件，比如为[0,1](实数区间)时，Pg)和P®)就变为卩⑴和p(y)(大写P变为小写°),p(兀)和p(刃不再表示概率,而是表示概率密度。p仕，刃等同理。这时有(2.1.8)其他类推。2.2经典通信模型Shannon信息论中的通信模型如图2.2.1所示。如杲把编译图2.2.1Shannon通信模型码部分并入信道，则该模型如图2.2.2所示。我们且讨论信源离散
6、时的情况。这时图2.2.2可以具体地变为图2.2.30图2.2.3中从占到力的箭头表示X=£时丫=力发生的条件概率是P(”I兀我们用?(/IX)表示m行n列的条件概率矩阵,因为它是物理信道的抽象，信息论屮也称之为信道。图2.2.2简化的Shannon通信模型图2.2.3有噪声通信模型2.3经典信息量公式和Kullback信息公式为了便于讨论，我们从单个事件之间的信息量公式出发，然后推导tBShannon互信息公式和Shannon爛公式。经典理论中，信息量是对减少的不确定性的度量。它的数学表示通常被写为：（
7、2.3.1）其中/（X/,yj）是刃提供的关于七的信息量；Pg）是占的先验概率，pg
8、乃）是占的后验概率（给定刃时）。log表示对数，可以是自然对数（以e为底），这时信息量单位是n“t;也可以是以2为底，这时信息量的单位是bit或比特。信息论中一般用bit-注意:上式所求信息是一系列X和Y发生后，回过头来看刃提供关于七的信息，而不是某一次力提供的关于占的信息。因为如果某次占不相应力出现时，就不会有这样的信息。这就是为什么Shannon奠基性论文屮没有该公式而且也不谈单个信号的信息。后面我们将看到，仅当我们
9、考虑预测和检验，并且占确实相应预测乃发生时，上式才能用于单个信号一一比如语句“明天有雨”或电压表读数“230伏”一一的信息的度量。而经典信息论不考虑预测信息。上式也可以写成七命七諾^(2.3.2)等式右边两项分别表示先验不确定性和后验不确定性。若后验不确定性为0,则公式变为(2.3.3)据Bayes公式可得(2.3.4)这表明两个事件相互提供的信息量必然相等。若两事件相互无关，则PgIyj)=P(xi)且P(yjIXi)=P(
