信息论基础2010-第二章

《信息论基础2010-第二章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论基础浙江大学信息与通信工程研究所张朝阳2010夏学期第二章熵与互信息符号系统X,Y：随机变量（待观测变量）x,y:变量取值（观测值）kja,b:变量取值（观测值）kj={x;k=1,2,…,K};={y;j=1,2,…,J}:kj变量值域事件：X=x或X=a;Y=y或Y=bkkjjq=Pr{X=x},w=Pr{Y=y}kkjj概率论基础知识对联合变量对（二维随机矢量）(X,Y),,p(x,y)有：p(x,y)0p(yj

2、xk)P(Yyj

3、Xxk)kjpx,yp(x,y)1k

4、jkjkjq(x)kp(xk,yj)(yj)p(xk

5、yj)P(Xxk

6、Yyj)kp(x,y)kjp(x,y)q(x)kjkj(yj)事件的自信息事件的发生通常会对外界提供信息。人们对信息的感受与事件发生的概率密切相关我们将特定事件X=x发生后给外界带来的k信息量定义为该事件的自信息I(Xx)I(x)公理化的定义kklogq(x)ak当对数的底a取为2时，自信息的单位为比特（bit）；当对数底取为e时，单位称为奈特（nat）。事件自信息的本质事件发生后对外界（观察者）所提供的信息量事件发生

7、前外界（观察者）为确证该事件的发生所需要的信息量，也是外界为确证该事件所需要付出的代价事件的自信息并不表示事件的不确定性，事件本身没有不确定性可言，它要么是观察的假设和前提，要么是观察的结果事件的条件自信息联合变量：(X,Y),,p(x,y)事件{Yy}发生的条件下事件{Xx}jk的条件自信息定义为：I(x

8、y)logp(x

9、y)kjakj事件Y=y发生后事件X=x的发生还能再给外jk界提供的“新”的信息量事件的联合自信息联合变量：(X,Y),,p(x,y)所对应的事件{Xxk}和{Yyj}联合

10、发生所带来的联合自信息定义为：I(x,y)logp(x,y)kjakj事件X=x与事件Y=y同时发生对外界提供的信息量kj事件的互信息联合变量：(X,Y),,p(x,y)所对应的事件{Xxk}和{Yyj}相互之间所提供的互信息定义为：p(x

11、y)kjI(x;y)logkjaq(x)klogq(x)logp(x

12、y)akakj事件互信息的本质事件Y=y中包含的有j关事件X=x信息量kI(xk;yj)logaq(xk)logap(xk

13、yj)事件X=x发生后提事件Y=y发生后事件X=xkj

14、k供给外界的信息量还能提供给外界的新信息量事件互信息的性质I(xk;yj)Iyj;xkp(x

15、y)kjI(x;y)logkjaq(x)k0p(x

16、y)q(x)kjk0p(xk

17、yj)q(xk),xk与yj独立0p(x

18、y)q(x)kjk事件的条件互信息p(x

19、y,z)I(x;y

20、z)logap(x

21、z)p(x,y

22、z)logap(x

23、z)p(y

24、z)事件Z=z已知的条件下事件X=x与事件Y=y相互提供的信息量事件的联合互信息p(x

25、y,z)I(x;y,z)logap(x)p(xyz)log

26、ap(x)p(yz)事件Y=y和Z=z联合提供的有关事件X=x的信息量事件联合互信息的链式法则I(x;y,z)I(x;y)I(x;z

27、y)I(y;x)I(z;x

28、y)I(y,z;x)事件Y=y和Z=z联合提供的有关事件X=x的信息量，等于Y=y提供的有关事件X=x的信息量再加上事件Y=y已知的条件下事件Z=z所提供的有关X=x的新信息量。变量的平均自信息——熵我们更关心变量在其取值集合总体上平均每次观测所能获得的信息量H(X)E[I(X)]q(x)I(x)xq(x)logaq(x)x熵的本质（I）

29、x1x2X~p1pH(p)H(X)plogp1(p)log(1p)H(p)1p越接近于0或者1（X确定性越高），熵越小；p越接近于0.5（X越不确定），熵越大00.51p熵的本质（II）熵是随机变量不确定性的度量熵是随机变量每次观察结果平均对外界所提供的信息量熵是为了确证随机变量的取值外界平均所需要的与之相关的信息量条件熵以事件Y=y为条件的变量X的熵H(X

30、y)p(x

31、y)I(x

32、y)xXp(x

33、y)logp(x

34、y)xX以变量Y为条件的变量X的熵H(X

35、Y)E{H(X

36、y)

37、}(y)H(X

38、y)疑义度：Y已知的条件yY下X的剩余不确定性p(x,y)logp(x

39、y)xy联合熵随机变量X和Y的联合熵（联合不确定性）H(X,Y)E{I(x,y)}p(x,y)logp(x,y)xy联合熵的链式法则H(X,Y)H