信息论基本：信息熵.pdf

《信息论基本：信息熵.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第一章信息论的基本概念BasicConceptsofInformationTheory2007年9月19日2007年9月26日2007年10月10日©THU2007–Allrightsreserved清华大学电子系－张林概率空间概念回顾¢概率空间是一个三元组(,,)ΩXP£Ω为样本空间£X为事件集，E∈X，E⊂Ω£P为概率度量，P:[X→0,1]¢公理：1.,ΦΩ∈XC1()1.PΩ=2.若，E∈∈XX则EC∞2.(PE)1=−PE()3.若，EEE123,,...∈XX则∪Ei∈3.若EEE,,...彼此没有交集，123i=1则P(∪EPi

2、i)=∑()Eii©THU2007–Allrightsreserved2本章知识脉络图离散随机变量离散、连续随机变量随机事件的随机事件间的相自信息关性似然比信息熵互信息鉴别信息的定义联合熵条件熵鉴别信息的性质信息熵的性质互信息的性质熵、互信息、鉴别连续随机变量信息之间的关系连续随机变量的微分熵互信息©THU2007–Allrightsreserved31.1信息熵（Entropy）1.1.1随机事件的自信息1.1.2信息熵1.1.3信息熵的唯一性定理1.1.4联合熵与条件熵1.1.5信息熵的性质©THU2007–Allrightsreserv

3、ed41.1.1随机事件的自信息随机事件的自信息¢直觉的定义£信息量等于传输该信息所用的代价£两个相同的信源所产生的信息量两倍于单个信源的信息量¢但是，直觉的定义立即会引起置疑：£一卡车Beatles的单曲CD盘，承载的信息量很大吗？£“很高兴见到你”，“平安到达”，“生日快乐”，“妈妈，母亲节快乐！”等电文传达的信息与其长度等效吗？©THU2007–Allrightsreserved5信息是对不确定性的消除¢天气预报消息量£夏天预报下雪和冬天预报下雪，哪个消息含有更大信息量？¢骗子股票分析员¢特工00111如何为他提供的服务定价？£用户来找

4、00111是为了消除对某种不确定性£所消除的不确定性越多，收费越高©THU2007–Allrightsreserved6随机事件的自信息¢四个基本问题：£随机性与概率的关系；£概率为1的事件的信息量；£概率为0的事件的信息量；£两个独立事件的联合信息量。设aa,为两个随机事件，12（1）若Pa((）>

5、息1Ia()log=iP()ai对数底与信息的单位以2为底：bit(binaryunit)以e为底：nat(natureunit)以10为底：Hart(Hartley)换算关系：1nat=1.44bit1Hart=3.32bit一般不加说明时，取以2为底。©THU2007–Allrightsreserved8关于自信息的评注V自信息大于等于零Ia()0≥i∵0()1≤≤pa，i∴log⎜⎟⎛⎞1≥0,证毕。pa()⎝⎠iV不同底（单位）之间的自信息之间的换算关系Ia()(log)()=βIaααiiβ证明：logpa()=logαlogpa(

6、)，证毕。ββiiα©THU2007–Allrightsreserved9例1.1“比特”的意义Step1Step2Step3¢八个灯泡串联，其中一个灯丝断了。¢如何用最少的步骤定位出哪一个坏了？¢最少需要用三次二元判定来定位故障。因此，这个事件所含有的信息量是3比特。©THU2007–Allrightsreserved10例1.2洗牌的信息一副52张的扑克牌，现将其充分洗牌，试问：（1）任意特定排列所给出的平均信息量是多少？（2）若任意从这副牌中抽出13张，所示的点数都不同，应获得多少信息量？解：（1）获得某一个特定的排列的概率是多少？11

7、IX()lo==g＝loglog52!225.58bit=P{}任意特定排列152!（2）获得“顺子”的概率是多少？11IY()lo==g＝log13.21bit1111P{}得到一副“顺子”CCC⋅⋅⋅C524844413P52©THU2007–Allrightsreserved111.1.2信息熵信息熵¢上一节我们定义了对于随机事件的自信息¢对于一个随机系统，我们如何定义信息的度量？a1~p(a1)1.每一个随机事件都有自信息I(a)ia2~p(a2)2.针对系统，取各随机事件自信息的统计a3~p(a3)平均：某离散信源或a4~p(a4)

8、随机实验…a5~p(a5)EIa()=∑paIa()()piiiian-1~p(an-1)an~p(an)=−∑p()log()apiiai©THU2007–All