教育信息处理03.ppt

《教育信息处理03.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章教育信息熵学习要点有关教育系统的研究，其实质是教育系统中的信息、信息传递和信息处理的研究。教育信息熵是教育信息处理中的一个十分重要的概念。本章在对信息熵与熵技术全面介绍的基础上，讨论信息熵在教学中的应用。通过一些信息熵在教学中应用实例的介绍，我们将对如何利用熵技术处理教育信息、分析教育过程有进一步的理解。教学目标1、掌握信息熵的计算公式。2、了解信息熵的基本性质。3、理解相对熵、联合熵、条件熵、互信息的含义，并能根据公式进行计算。4、用文氏图说明两个系统X、Y的熵、它们的联合熵、条件熵、互信息之间的关系。5、理解等价预选项的含义，并能看

2、懂项目答对率pr与等价选项个数k之间的关系图。6、了解教育信息熵在测试问题分析、教学过程分析、教育中质的数据的分析、CAI课件分析中的应用。第一节熵的概述第二节相对熵与冗余度第三节熵函数的展开第四节测试问题的信息量第五节教学过程的信息量分析第六节教育中质的数据信息量分析第七节CAI课件中的信息熵第八节信道容量与编码第一节熵的概述一、信息量的表示二、信息熵三、熵的意义四、信息熵的基本性质一、信息量的表示信息的多少与信源的不确定性有关。一般来说，在通信过程中，信源发出的消息对收信者来说总是存在着某种程度的不确定性，通过通信，收信者就可能消除这种不

3、确定性。研究信息的度量可变成研究信源的不确定性的度量。从n个概率相等的事件中选择其中一个的系统的信息量,其表示方式为H=log2n。信源输出的消息可以看作是随机事件，它的不确定度可根据其出现的概率来衡量：概率大，出现机会多，不确定程度小概率小，出现机会少，不确定程度大一、信息量的表示不确定性的大小与事件出现的概率Pi有关，是Pi的函数f(Pi)。函数应具有如下性质：Pi大，f(Pi)小；Pi小，f(Pi)大。f(Pi)是Pi的单调减函数。不确定度应满足可加性要求。可加性：N个不确定事件记为：x1，x2，•••，xn相应的概率P(xi)为：P1

4、，P2，•••，Pn若这些事件彼此独立，则总的不确定性等于各分量不确定性的和，这就是不确定性的可加性。I(xj)=I(x)+I(j)设某一事件产生的概率为p，则信息量可定义为：H=loga(1/P)=-logaP其中，a＞1a可以取2(单位为bit)，e(单位为nat)，10(单位为dit)信息熵一般情况下，一个信源可以用一个概率空间（或概率系统）来描述，而信源的不确定程度可以用这个概率空间的可能状态数目及其概率来描述：X:x1,x2,……，xnP(X)：P(x1)，P(x2)，……，P(xn)P：P1，P2，……，PnX是信源的状态空间，n

5、是随机事件的状态数；P(X)是随机事件各可能状态的概率分布，且∑P(xi)=1。假定各状态是相互独立的。在熵的数学表达式中，常用的有：以2为底——单位为比特（bit）——以2为底的对数记为logx；以e（≈2.718）为底——单位为奈特（nat）——以e为底的对数记为lnx两者间的换算关系为：1比特=0.693奈特1奈特=1.443比特