资源描述：
《《教育信息熵》PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第二章 教育信息熵熵的最早提出（1865年）与热力学熵在信息论中的地位第一节 熵的概述一信息量的表示1信息的多少与信源的不确定性有关实例：5个学生(A、B、C、D、E）参加某项比赛,选拔出1人为冠军2信息量的度量与信源的不确定性实例1：5个学生水平相差不多（接近等概率）实例2：5个学生水平相差大（不等概率），其中A的水平高超问：哪一组比赛悬念更大（获得的信息量多）?3小结：信源输出的消息可以看作是随机事件事件出现的概率大，出现机会多，不确定程度小；事件出现的概率小，出现机会少，不确定程度大
2、。即Pi大，f(Pi)小；Pi小，f(Pi)大。即f(Pi)应是Pi的单调减函数f(pi)=∽(1/pi)4信息量的可加性单调减函数可以有很多种，用来度量信息的函数f(Pi)究竟应当是哪一种呢？有了可加性即可解决。即P（x1,x2）=P(x1)*P(x2)联合概率（两个变量相互独立）而f(P1,P2)=f(P1)+f(P2)不确定性可见f(P)满足取对数的关系f(P)=log(1/p)=-logp它满足的两个关系：（1）不确定性与概率的关系；（2）可加性的要求。二信息熵1平均信息量（信息熵）一般情况下状
3、态空间：X：x1,x2……………xn概率分布：P(x):P(x1),P(x2)………P(xn),且这里假定各状态是相互独立的。出现Xi的不确定性：log(1/P(xi))该信源每个状态的平均（加权平均）不确定性：信息熵（平均信息量）:也可以简写为：2两种不同的单位上面的定义式中，没有考虑对数的底a,当它取不同的底时（常取2或e），信息熵的单位为比特(bits)和奈特(nats)1比特=0.693奈特1奈特=1.443比特此外，还有一个单位叫哈特（以10为底），取自人名哈特莱（Hartley）,他提出了熵
4、定义式中的对数关系。且1哈特=3.32比特3例某一系统具有四种状态（或四种事件）A1、A2、A3、A4，各自的概率为：p1=1/2,p2=1/4,p3=1/8,p4=1/8注意：概率和为1计算得熵：H=1.75(比特/状态)4连续信源如果概率空间为连续系统，其概率分布为：p(x),对应系统的熵为：三熵的意义1熵的大小表示某概率系统的不确定程度实例1：某一概率系统的概率分布如下：（1，0，0，，，0）这是一个确定性系统，计算其信息熵H=0，即该系统不确定性为0。实例2：某一概率系统的概率分布为等概率：（1
5、/n，1/n，，，1/n）,设该系统共有n个状态（事件）这是一个最不确定系统，计算其信息熵H为最大，即该系统不确定性最大。一般系统介于上述两种极端情况之间。2熵的大小表示某系统中任一状态（事件）出现后产生的平均信息量实例1：某一概率系统的概率分布如下：（1，0，0，，，0）在这个系统中，只有第一个状态出现，当它出现之后，没有给我们带来任何信息量，计算其信息熵H=0。实例2：某一概率系统的概率分布为等概率：（1/n，1/n，，，1/n）,设该系统共有n个状态（事件）在这个系统中，任何一个状态都有均等的机会
6、出现，当某一个状态出现之后，都给我们带来最大的信息量，计算其信息熵H为最大。一般系统介于上述两种极端情况之间。四信息熵的基本性质1单峰性（极值性）任何一个随机系统，其信息熵都有一个极大值（单峰），即各状态出现为等概率时，熵为最大：H(p1，p2，，，pn)≤H(1/n，1/n，，，1/n)=logn实例：一个二事件系统，概率分别为p和1-p该系统的熵为：H=-[plogp+(1-p)log(1-p)]其H—P图具有单峰性(图2.1)图2-1两个事件H-P图2对称性H(p1，p2，p3)=H(p1，p3，
7、p2)=H(p3，p2，p1)说明：1）这是由于加法满足交换率2）这也说明熵反映了该系统的整体特性3渐化性（递增性）设某系统共有n个事件，现在第n个事件分裂成两个事件，概率分别为q、r（即pn=q+r）,该系统的熵变为：证明（利用熵函数的表达式）：作为习题4展开性（扩展性）H(p1，p2，，，pn)=H(p1，p2，，，pn，0)=H(p1，p2，，，pn，0，，，0)说明：某系统的事件数增加了，但这些事件的出现概率为0时，该系统的熵不变。5确定性H(1，0)=H(0，1)=H（1，0，，，0）=H（0
8、，0，，，0，1）=06非负性H(p1,p2,…,pn)≥0小结：熵是一种描述系统总体特性的统计量第二节 相对熵与冗余度一最大熵任何一个随机系统（共有n个状态），各状态出现为等概率时，且各个状态无相关性，其信息熵都有一个最大值：Hmax=logn实例：英语用来传输信息，使用26个字母，加上一个空格。这样的系统，其最大熵为：Hmax=log27≈4.76（比特/字母）二一般情况一般情况下，任何一个系统（共有n个状态），各状态出现一般为不等
