资源描述：
《信息论第二讲》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、2.1.3联合熵与条件熵在上一节中，我们定义了一个随机变量X的熵，现在把它推广到两个随机变量的情况。在学习概率理论的时候，我们已经知道事件Xi和事件yj同时出现的可能性可以用联合概率p(uj)来描述，因此联合事件集合的不确定性也必然和联合概率分布存关。定义2.3对于服从联合分布p(X，y)的一对随机变量;V，y，其联合熵定义为：Z/(X,X)=-y)logp(x,y)=-EplogP(X,K)(2-8)xeXy^Yw如果把(x，y)看作矢景随机变量，联合熵的定义和一个随机变量的情况就完全相同了，在形式上没右新的东西。干扰图2-2有干扰的在图2-2最简单的
2、通信模型中，尽管信源发出的消息是Xi，但是由于信道中存在着干扰信号，信宿接收到的却是现在要问，如果己知信宿收到的是M，那通信模型么信源发出Xi的信息量是多少？显然，这是需要用条件概率来描述的。定义2.4在已发生％的条件下，随机事件％的条件概率为P(Xi
3、门)，则的出现所带来的信息量被称为它的条件自信息量，表示为:KxjIyj)=-logP(x{Iy})(2-9)类似地，Kyj1^-)=-logP(yj
4、x,-)(2-10)我们知道，条件概率是后验概率，式(2-9)所反映的是收到％后所能获得的信源发出4的信息量，所以条件自信息量里包含了信道的特性。如果在给
5、定条件y下考虑集合X的总体信息测度，则有
6、y)=p(x
7、y)/(x
8、)’)=~^xp(xy)logp(x
9、y)(2-11)对于整个y集合，存H(XY)=YyP(.V)H(XI＞，)=~^XYy)logp(x130(2-12)注意，在式(2-11)和(2-12)中，我们把大写的概率符号P换成了小写的P，表示概率密度函数。定义2.5对于联合随机事件集合xy，在给定y的条件下，X的条件熵定义为条件自信息量/Uilyj)在联合集合中的加权平均H(xY)=~Yxyp(^y)logp(xIy)=YxyP^iyjVU,b-)=-£,,logp(xin(2-13)
10、注意条件熵依然是统计平均意义上的概念，因此H仏
11、门)是没有意义的。在通信问题中，条件熵描述信道的特性，例如在存在干扰的情况下，信宿收到某一符号h后所获得的关于信源发出&的信息量是与信道有关的。H(XF)表示收到y后对X的不确定度，所以又叫疑义度，H(rix)表示发出X以后，对将收到的y的不确定程度，而这个不确定是由信道中噪声造成的，所以又叫噪声熵。(2-14)推论对于联合随机事件集合XKZ,有H(X,YZ)=H(X
12、Z)+H(Y
13、X,Z)证明:在这个式子中，等号左边表示在己知Z的条件下，对X和Y的不确定度，等号右边第一项表示在匕知Z的条件下，对X的不
14、确定度，第二项表示在己知X和Z的情况下，对Y的不确定度。这个推论的证明作为作业供同学们练习。例2.5设X，y服从如下图的联合分布，求联合熵H(x，y)、条件熵和HW)。解:X的边际分布为(1/2，1/4，1/82.5的己知条件1"的边际分布为(1/4,1/4,1/4,1/4),因此，"(X)=7/4(比特)，"(y)=2(比特)。H(XY)=P(Y=i)H(XY=i)=1/477(1/2,1/4,1/8,1/8)+1/4付(1/4，1/2，1/8，1/8)+1/47/(1/4,1/4,1/4,1/4)+1/4H(l，0,0,0)123411/81/
15、161/321/3221/161/81/321/3231/161/161/161/1641/40001/8)，表2-1例题=Xx%+Xx%+X><2+XxO=i%(比特)同样可以得到H(yIX)=13/8比特，H(X,y)=27/8比特。从上例可以看到，一般情况下y),但是却有h(x)-H(XY)=H(Y)~H(YX)9这个性质留到后边讨论。例2.6设M是披露提拔干部的秘密信息，李军、王标、张喜和刘莉都有可能。开始以为他们的机会相等，后来知道选拔女干部的可能性为1/2。令S表示获选人的性别消息，计算H(M)和H(M
16、5X解如果四个人的机会相等，贝lj
17、H（M）=-4x（l/4logl/4）=2（比特）。显然，用两比特编码，即用00,01，10,11分别代表李军、王标、张喜和刘莉，给出其中任一个两比特码都明确表达了选拔干部的情况。在注意提拔女干部的前提下，应该计算条件熵.•H（M
18、5）=-P（女）［P（张
19、女）logP（张
20、女）+P（王
21、女）logP（王
22、女）+P（李
23、女）logP（李丨女）+P（刘丨女）log/＞（刘丨女）］-P（男）［P（张
24、男）logP（张
25、男）+P（王
26、男）l0gP（王
27、男）+尸（李
28、男）logP（李I男）+P（刘I男）logP（刘
29、男）］=-l/2［0xlog0+0xlog0+
30、0xlog0+lxloglJ-l/2［l/3xlogl/3+l/3xlogl/3
