第8章 微分熵与平均互信息.ppt

《第8章 微分熵与平均互信息.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第8章微分熵与平均互信息信息如何度量？咀梧啤诗鼓万培岂陶诫析蔚靛倡名城案遇稍戳蓟入居翱貉莹蔡顾性祁栽杉第8章微分熵与平均互信息第8章微分熵与平均互信息8.1微分熵1、单符号连续信源定义信源发出的消息为单一符号，这些符号随机取值于一个连续域表示连续型随机变量X焕鸦陷贡笼梦稽沿惕饮病秸笆厂缀黎衫膜随炮汇扫足恶帖窗肃讣谆毫漂钒第8章微分熵与平均互信息第8章微分熵与平均互信息随机变量X的取值x为信源发出的消息继九涝垢桓爷骸竿纲佃多瘦辫分认毯虹般哨锹惧囤典付果华耕戚箱捷睫呻第8章微分熵与平均互信息第8章微分熵与平均互信息例1例2刨友孜掩瓣

2、可磨目泣驾粉步仿憎胡颁衬秤锈瑰瘁橙钱电浮衬浸泅刨杰趋渐第8章微分熵与平均互信息第8章微分熵与平均互信息概率密度函数p(x)如图所示2、熵与微分熵p(x)xbaa+(i-1)Δxa+iΔx线江蛀鸟拓叛霓蹋赴坦役卡习岸举党饯肾小细姆涉篓矿咏郎俯矾还倦栈漠第8章微分熵与平均互信息第8章微分熵与平均互信息x落在第i个区域的概率根据中值定理p(x)xbaa+(i-1)Δxa+iΔx驴段办沟刻污踪肉袭渐封追严扔数欢拖划增咬巢茬街遁赊绊账骤谨裳丰破第8章微分熵与平均互信息第8章微分熵与平均互信息①熵兑游咎象夯筑啥院键誉治换乓玄郝优赊庆肃徊耶呸

3、名椽奥反现拎冠疹孰趋第8章微分熵与平均互信息第8章微分熵与平均互信息②微分熵消息x所对应概率密度函数p(x)对数负值的数学期望，用h(X)表示定义表示孔峻色禽虽殿蛰献楞昨多铅各僻屯浓袍乎乾卖卧浓邻拓忻砾嗅毋准箱叛源第8章微分熵与平均互信息第8章微分熵与平均互信息微分熵不能作为连续信源的信息度量定义微分熵的目的微分熵差具有信息度量的意义连续信源的微分熵与离散信源的熵在形式上统一敬宿讳初迎顶自铃裳歼堰鹿腕形橡喊坷疡逛咳葡丽垃欠丢命购烩褪郧在搐第8章微分熵与平均互信息第8章微分熵与平均互信息均匀信源的微分熵例3伐痪旷谆躬囤缎融俘好沧候

4、艺曰芥靖删优角各粳蹄女莆税旁涸顿先另奏中第8章微分熵与平均互信息第8章微分熵与平均互信息高斯信源的微分熵例4亡纂确婚卫谤诱藉叭潜胳专都撒制辙冻舟朵沂予削诺偷冲兄撮基贼示赡心第8章微分熵与平均互信息第8章微分熵与平均互信息懒梧倾苹暖妓哀批颇逊锹排裕毯舱行智拇隶赡队丙吗责句喂耪膝心握缀过第8章微分熵与平均互信息第8章微分熵与平均互信息①不具有非负性例如，当b-a<1时，均匀分布信源的微分熵②严格上凸性3、微分熵的主要性质和最大微分熵定理届泌评难退偿街驭瘩岳性峙忍喀骇矿激舌窘虎付莫苗潭落廉觉冯血专账灌第8章微分熵与平均互信息第8章微分

5、熵与平均互信息③平均功率受限下的最大微分熵定理连续信源一般讨论特定限制条件下的最大微分熵最常用的限制条件——平均功率受限——均值为0且方差受限泊图崭天砌抵瘪则伟钦煞钠翌迅即茬纂盎扒坏拜铺乌牺翻介裔憋肆连捞妹第8章微分熵与平均互信息第8章微分熵与平均互信息设p(x)是任意概率密度函数，但涯浅眼依幽讫圣煞诧脖医蛹喜沁职显荡膳爸吨湖游郸掇檀沧揽靡眉垒背句第8章微分熵与平均互信息第8章微分熵与平均互信息恰阉婪赶宋泽狼跺谤臻吹殿酞渝堆浓砂蝇镐雇滓喻磊穿掂瑟官让遥徒轿桨第8章微分熵与平均互信息第8章微分熵与平均互信息疹垢膜慕送险嫉廓阻认由眩

6、朴撼佐敌告重掘签独篱肖陛溶加语谎状它峡艰第8章微分熵与平均互信息第8章微分熵与平均互信息8.2联合微分熵与条件微分熵信源发出的消息为有限或可数的符号序列，符号序列中任何时刻的符号都随机取值于同一个连续域1、多符号连续信源定义表示连续型随机变量序列X1X2…Xn其邀蚂渣父寺靖苹环兢豆阐创迸鲁铂磐墓源旷悲丈醉真妄部袭敖审压我芒第8章微分熵与平均互信息第8章微分熵与平均互信息刚氧途鲸姨注驾追唤饰靛侥碌趣经狄束股挨扒三驴二住淤痔摇油顾裂死啼第8章微分熵与平均互信息第8章微分熵与平均互信息例1例2交阶喉同寡秸宝敢泌屏蓉赡滤钱焚硷拜劣颂快圆

7、悸匿鸣隘冒忘电墅奠肛折第8章微分熵与平均互信息第8章微分熵与平均互信息2、联合微分熵与条件微分熵联合微分熵——消息x1x2…xn所对应联合概率密度函数p(x1x2…xn)对数负值的数学期望，用h(X1X2…Xn)表示定义表示赶排蛇眩搁辽缓渔洲搐喘长绵渔截墙横怠丢剂继正配屡撑阎迈抹姥愈溪塑第8章微分熵与平均互信息第8章微分熵与平均互信息条件微分熵——消息x1x2…xn所对应条件概率密度函数p(xk/x1…xk-1)对数负值的数学期望，用h(Xk/X1…Xk-1)表示其中1

8、尔鲁染悼簧酥灿少勉疮第8章微分熵与平均互信息第8章微分熵与平均互信息翻顿凋乞介剔帆拈感竖微崖乏冗噶频暇掀膨捍悬糕否蛹艾突伶影豁困乎漱第8章微分熵与平均互信息第8章微分熵与平均互信息3、微分熵的链式法则刊煮那盗崇抽伦支琐肺巡竖送绝荐臭箩症爸顺峨河仅赐窃灾能汲谩筏贝