熵与信息生命赖负熵为生教程文件.ppt

《熵与信息生命赖负熵为生教程文件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、熵与信息生命赖负熵为生3、1948年，shannon推广Hartrey信息熵的定义，首先引入各不等概消息单元不肯定性的量度——本征信息熵为：信息熵定义：H(X)各个不等概消息单元的本征信息熵的加权统计平均值。Pi是第i个消息单元的概率，n是不等概消息单元的总数。本征信息熵的意义：第i个消息单元Xi的不肯定性程度的量度。总信息熵的意义：信息源X的总的不肯定程度的量度。当各个消息单元是等概率时信息源的信息熵为：Hartrey定义的信息熵是shannon定义的信息熵在等概条件下的最大值。4、随着生物信息论、经济信息论、社

2、会信息论等学科不断运用信息熵，使之有进一步的泛化的必要。熵的产生于热力学，扩展于信息论等学科领域。在不同的学科里，对熵的意义提法有所不同。但是从泛熵的概念高度来看。它们在本质上是一致的。凡是属于下列一类的对立统一性质的事物，例如：混乱性——秩序性，散漫性——组织性。无序性——有序性，不肯定性——肯定性。盲目性——目的性，一般性——特异性，随意性——计划性，随机性——确定性，多样性——单纯性，含糊性——透彻性，暧昧性——明确性，未知性——已知性噪声——信号，………并且满足如下概型条件本征状态：概率分布：完备性：归一性

3、：以上的问题，均可用熵作为指标进行分析。二、信息源的概型结构本征信息熵现在讨论信息熵的基本概念1、信息源：发送消息的源。Informationsource例如：自然界中的一切物体，大至宇宙天体，小至原子、原子核、基本粒子、以及中间的各个层次：生物圈，生态，群落，种群，个体，系统，器官，组织，细胞，亚细胞，分子，亚分子等，例如一个国家、社会团体，大脑，内分泌等等，都有它们自己的情态，无不随时发送出它们自己的消息，因而都可作为信息源。信息源特点：它们都具有一系列可能的基本状态，叫本征态。每一本征态称为一个消息单元，记：

4、Xi（i=1,2,3……n），这n个消息单元或本征态序列实际上就是离散的随机变量，它具有互斥性和完备性。互斥性：信息源可能处于这个基本状态，也可能处于其余的基本状态，但不能同时处于同一个本征状态，处于这个本征态，就不处于其它本征态；完备性：这个n个消息单元是完备无缺的。这个n个互斥的完备的消息单元构成一个消息单元的集合，记：X≡［X1，X2，……Xn］每个消息单元Xi都有个确定的概率与之相对应，记：p(Xi)，整个消息单元的集合X有概率：P(X)≡［P(X1)，P(X2)，……P(Xn)］分布着，消息单元集合的互斥

5、性与完备性反应在概率上是概率的总和具有归一性。因此，信息源的基本概型结构：消息单元XiX1，X2，……Xn概率分布P(Xi)P(X1)，P(X2)，……P(Xn)实际例子：设有一在外的工作人员，收到消息得知家中的老母中风住院治疗，这时他母亲就是个信息源，可能处于的本征态：可能发送出的消息单元有(Xi)：消息单元XiX1死亡X2昏迷X3偏瘫X4好转X5康复概率分布P(Xi)1/51/51/51/51/5当工作人员又接到家信得悉母亲经抢救后，已恢复意识，正在积极进行治疗。这时信息源的本征态或消息单元的集合概率分布已发生

6、了变化。消息单元XiX1死亡X2昏迷X3偏瘫X4好转X5康复概率分布P(Xi)001/31/31/3如果工作人员又接到消息说：经积极治疗后已经能起床作太极操了，则相应的概率分布变为：消息单元XiX1死亡X2昏迷X3偏瘫X4好转X5康复概率分布P(Xi)0001/21/2提出一个问题：各个消息单元的不肯定程度多大？概论大，可能性就越大，不可定性程度就越小；反之，概率小，可能性就越小。例如：X5康复的概率最大到1，其它概率降为零，这个消息单元X5就完全肯定了。不确定性为零。因此，本征信息熵定义：消息单元概率的倒数的对数

7、为消息单元的不肯定性程度的量度。第一次电话后，五个本征态或消息单元，各个本征信息熵：消息单元XiX1死亡X2昏迷X3偏瘫X4好转X5康复P(Xi)1/51/51/51/51/5H(Xi)bit2.3222.3222.3222.3222.322第二次电话后，五个本征态或消息单元，各个本征信息熵：XiX1死亡X2昏迷X3偏瘫X4好转X5康复P(Xi)001/31/31/3H(Xi)bit1.585XiX1死亡X2昏迷X3偏瘫X4好转X5康复P(Xi)0001/21/2H(Xi)bit1第三次电话后，五个本征态或消息单元

8、，各个本征信息熵：对于好转这个消息单元的不肯定性程度由2.322bit逐渐减少到1bit，肯定性程度是逐渐增加的。三、信息源不肯定性的量度——信息熵信息源的信息熵：各个消息单元的本征信息熵的统计加权平均值。为这信息源的不肯定性的程度。第一次电话后，五个本征态或消息单元，平均一个消息单元的不肯定性程度为：信息源的信息熵。第二次电话后，平均一个消息单元的不肯定性