信息论讲义-第二章(4讲)

《信息论讲义-第二章(4讲)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息理论基础信息理论基础第4讲北京航空航天大学201教研室陈杰回顾defq1.信息熵：H()Xp=−∑()log()xiipxi=1defH()YX=∑px()ijyI()yjix2.条件熵：defXY=−∑p()xijyylog()jxiXYdef3.联合熵：H(,)XY=∑px()()ijyIxijydefXY=−∑px()ijylogpx()ijyXYdef4.平均互信息量：I(;)XY=∑pyIXy()(;)jjdefY=∑pxyIxy(ij)(;ij)XY2回顾1.信息熵数学性质•对称性:H(p,p,…p)=H(p,p,…p)12q21q•非负性:H(p,p,…p

2、)≥012q•扩展性:limHpqq+112(,pp,"",−=ε,)εHqq(,p12pp,,)ε→0•可加性H(,,,)logpp"p≤n•极值性:12n•确定性:HHH(1,0)=(1,0,0)==(1,0,0,0)""==H(1,0,,0)0•上凸性:H(X)是(p,p,…p)的上凸函数12q3回顾1.平均互信息量的性质：•非负性IXY(;)0≥•互易性(对称性)IXYIYX(;)(;)=IXYHX(;)≤()•极值性IXYHY(;)≤()•凸函数性4回顾各种熵的关系：•联合熵与信息熵、条件熵的关系HXYHXHYX(,)()()=+=+HYHXY()()•共熵与信息

3、熵的关系H(,)()()XYHXHY≤+•条件熵与通信熵的关系H()()YXHY≤H()()XYHX≤5回顾平均互信息和各类熵的关系I(;XYHXHXYHYHYX)()()(=−=−)()IXYHXHYHXY(;)=()()(,)+−62.5连续随机变量的互信息和相对熵2.5.1连续随机变量的互信息⎯定义⎯熵的性质2.5.2连续随机变量的相对熵⎯连续随机变量的自信息量⎯相对熵、联合熵、条件熵⎯性质72.5.1连续随机变量的互信息•连续随机变量的互信息连续随机变量集XY，事件x,p(x)≥0和事件y,p(y)≥0之间的互信息定义为defpxyx()ΔIxy(;)limlog=

4、Δ→x0pxx()ΔΔ→y0p()()xypyΔxΔy=limlogΔ→x0p()xxpΔ()yyΔΔ→y0px()y=logpxp()()y82.5.1连续随机变量的互信息•连续随机变量的平均互信息连续随机变量集合X和Y之间的平均互信息量(MutualInformation)定义为def∞pxy()I(;)XY=∫∫px()logydxdy−∞pxpy()()92.5.1连续随机变量的互信息•连续随机变量的平均互信息的性质（１）非负性IXY(;)0≥当且仅当连续随机变量X和Y统计独立时等号成立。（２）对称性I(;)(;)XY=IYX102.5.2连续随机变量的相对熵•连续

5、随机变量令随机变量X的取值区间是(a,b)，a

6、HX()=−px()logpxdx()C∫−∞称为连续随机变量的相对熵，或微分熵，简称为熵。132.5.2连续随机变量的相对熵•连续r.v.的联合熵(JointEntropy)∞H()XY=−pxy()log()pxydxdyC∫∫−∞•连续r.v.的条件熵(ConditionalEntropy)∞HXY(

7、)=−px()lyog(

8、)pxydxdyC∫∫−∞142.5.2连续随机变量的相对熵•性质HX()()()YHXHYX=+（1）CCCHX()()()YHYHXY=+CCC（2）IXY(;)(;)=IYX=−H()XHXY(

9、)CC=−H()YHYX(

10、)CC（3）H

11、(

12、)XYHX≤()CCH(

13、)YXHY≤()CC152.5.2连续r.v.的相对熵（例题）例2.10连续随机变量X，其概率密度函数2⎧bx0≤x≤ap(x)=⎨⎩0其他(1)试求信源X的熵H(X)；c(2)试求Y=X+A(A>0)的熵H(Y)；c(3)试求Y=2X的熵H(Y)。c162.5.2连续r.v.的相对熵（例题）解:(1)2H()X=−f()log()xfxdx=−f()logxbxdxc∫∫RR2=−logb⋅∫∫f()xdx−f()logxxdxRR2=−logbbxx−2∫logdxR332baa=