《信息量和熵》ppt课件

《《信息量和熵》ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章信息量和熵信息量和熵2.1离散变量的非平均信息量2.2离散集的平均自信息量－熵2.3离散集的平均互信息量2.4连续随机变量的互信息和熵2.5凸函数和互信息的凸性2.1离散变量的非平均信息量输入，输出空间定义输入空间X={xk,k=1,2,…,K},概率记为q(xk)输出空间Y={yj,j=1,2,…,J},概率记为ω(yj)联合空间XY={xkyj;k=1,2,…,K;j=1,2,…,J},概率为p(xkyj)p(xkyj)=p(xk

2、yj)ω(yj)=p(yj

3、xk)q(xk)非平均互信息量例2.1.1输入消息码字p(xk)收到0收到01收到011X1X2X3X4X5X6X7x800

4、00010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/2000000010000非平均互信息量输入消息码字p(xk)收到0收到01收到011X1X2X3X4X5X6X7x80000010100111001011101111/81/41/81/41/161/161/161/161/61/31/61/30000001/32/3000000010000非平均互信息量例2.1.2输入消息码字p(xk)收到0收到01收到011X1X20001111/21/21-pp1/21/21-pp1-p1-p0011pp非平均互信

5、息量非平均互信息量定义2.1.1(非平均互信息量)给定一个二维离散型随机变量{(X,Y),(xk,yj),rkj,k=1~K;j=1~J}（因此就给定了两个离散型随机变量{X,xk,qk,k=1~K}和{Y,yj,wj,j=1~J}）。事件xk∈X与事件yj∈Y的互信息量定义为非平均互信息量其中底数a是大于1的常数。常用a=2或a=e，当a=2时互信息量的单位为“比特”。几点说明：（1）I(xk;yj)=loga(rkj/(qkwj))。因此有对称性：I(xk;yj)=I(yj;xk)。（2）当rkj=qkwj时I(xk;yj)=0。（当两个事件相互独立时，互信息量为0）。（3）当rkj>q

6、kwj时I(xk;yj)>0，当rkj

7、的平均自信息量－熵熵集X中事件出现的平均不确定性(平均自信息量——熵)离散型随机变量{X,xk,qk,k=1~K}的平均自信息量（又称为熵）定义为如下的H(X)，其中底数a是大于1的常数。熵注意：（1）事件xk的自信息量值为I(xk)=loga(1/qk)，因此H(X)是随机变量X的各事件自信息量值的“数学期望”。（2）定义H(X)时，允许某个qk=0。（此时将qkloga(1/qk)通盘考虑）此时补充定义qkloga(1/qk)=0。这个定义是合理的，因为熵例2.2.1离散型随机变量X有两个事件x1和x2，P(X=x1)=p，P(X=x2)=1-p。则X的平均自信息量（熵）为H(X)=pl

8、oga(1/p)+(1-p)loga(1/(1-p))。观察H(X)（它是p的函数，图2.2.1给出了函数图象，该图象具有某种对称性），有当p=0或p=1时，H(X)=0。（随机变量X退化为常数时，熵为0）当00。p越靠近1/2，H(X)越大。（X是真正的随机变量时，总有正的熵。随机性越大，熵越大）当p=1/2时，H(X)达到最大。（随机变量X的随机性最大时，熵最大。特别如果底数a=2，则H(X)=1比特）条件熵（定义2.2.2）XY独立时有H(X

9、Y)=H(X)联合熵熵的性质对称性非负性确定性扩展性可加性极值性是H(P)上凸函数熵是概率矢量的函数P＝(p1,p2,…,

10、pk)可以看作是K维矢量,当,常称作是概率矢量;故HK(P)=HK(p1,p2,…,pk)是概率矢量P的函数熵的性质－对称性矢量的各分量p1,p2,…pk的次序任意改变时，熵值不变熵函数的值只与概率分布或将1分割成的K个实数的取值有关，而与这K个实数和K个事件采取何种一一对应方式无关熵的性质－非负性HK(P)=HK(p1,p2,…,pK)≥0可由单个事件自信息量的非负性得到熵的性质－确定性若事件集X中有一个事