熵与信息§5.6生命“赖负熵为生”

《熵与信息§5.6生命“赖负熵为生”》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、§5.5信息熵、信息量与负熵信息熵四个基本特点：历史悠久，已经历半个多世纪的深入泛化过程；在深入泛化过程中，它涉及到许多学科领域。其中有“热力学、统计力学、信息论、控制论、数理经济学、数理社会学、哲学等；在所涉及的各个学科理论体系中，熵都是基本量，都有极重要的位置；实际上是个泛函，概念比较抽象，在各个学科中既是重点又是难点。一、熵概念的发展简史熵最初产生于18世纪初，Carnot研究热机效率发现可逆循环过程，随后Clausius根据可逆Carnot循环过程定义了态函数熵。Clausius明确了熵态函数，但没有给出更深刻的物理含义。直到19世纪中期，1887年波尔兹曼著名公式：w是热

2、力学体系宏观态的微观状态数。当初称热力学几率，其实这个词并不确切。因为：通常几率在＜0，1＞区间，而热力学体系宏观状态的微观状态数w总是大于1，而且数量级非常之高。1928年，Hartrey可能受波尔兹曼关系的启发，首次在通信领域里提出信息熵的定义：N是等概率消息单元的总数，信息熵H的意义是输送一个消息单元的不肯定性程度的量度。等概消息单元总数N愈多，信息熵H愈大，输送一个消息单元的不肯定性程度就愈大；反之，N愈少。当消息单元的总数N=1时，H=0，输送这个消息的不肯定性程度为零，就是完全肯定输送这个消息。信息熵意义：在解决通信领域里的实际问题比较方便，只要知道等概率消息单元总数N

3、就可以计算信息熵H。不足：对简单的信息源应用起来方便，对复杂的信息源把握等概率消息单元总数N却不是容易做到的；用这个信息熵定义计算得到的实际上是信息源的最大熵。3、1948年，shannon推广Hartrey信息熵的定义，首先引入各不等概消息单元不肯定性的量度——本征信息熵为：信息熵定义：H(X)各个不等概消息单元的本征信息熵的加权统计平均值。Pi是第i个消息单元的概率，n是不等概消息单元的总数。本征信息熵的意义：第i个消息单元Xi的不肯定性程度的量度。总信息熵的意义：信息源X的总的不肯定程度的量度。当各个消息单元是等概率时信息源的信息熵为：Hartrey定义的信息熵是shanno

4、n定义的信息熵在等概条件下的最大值。4、随着生物信息论、经济信息论、社会信息论等学科不断运用信息熵，使之有进一步的泛化的必要。熵的产生于热力学，扩展于信息论等学科领域。在不同的学科里，对熵的意义提法有所不同。但是从泛熵的概念高度来看。它们在本质上是一致的。凡是属于下列一类的对立统一性质的事物，例如：混乱性——秩序性，散漫性——组织性。无序性——有序性，不肯定性——肯定性。盲目性——目的性，一般性——特异性，随意性——计划性，随机性——确定性，多样性——单纯性，含糊性——透彻性，暧昧性——明确性，未知性——已知性噪声——信号，………并且满足如下概型条件本征状态：概率分布：完备性：归一

5、性：以上的问题，均可用熵作为指标进行分析。二、信息源的概型结构本征信息熵现在讨论信息熵的基本概念1、信息源：发送消息的源。Informationsource例如：自然界中的一切物体，大至宇宙天体，小至原子、原子核、基本粒子、以及中间的各个层次：生物圈，生态，群落，种群，个体，系统，器官，组织，细胞，亚细胞，分子，亚分子等，例如一个国家、社会团体，大脑，内分泌等等，都有它们自己的情态，无不随时发送出它们自己的消息，因而都可作为信息源。信息源特点：它们都具有一系列可能的基本状态，叫本征态。每一本征态称为一个消息单元，记：Xi（i=1,2,3……n），这n个消息单元或本征态序列实际上就是

6、离散的随机变量，它具有互斥性和完备性。互斥性：信息源可能处于这个基本状态，也可能处于其余的基本状态，但不能同时处于同一个本征状态，处于这个本征态，就不处于其它本征态；完备性：这个n个消息单元是完备无缺的。这个n个互斥的完备的消息单元构成一个消息单元的集合，记：X≡［X1，X2，……Xn］每个消息单元Xi都有个确定的概率与之相对应，记：p(Xi)，整个消息单元的集合X有概率：P(X)≡［P(X1)，P(X2)，……P(Xn)］分布着，消息单元集合的互斥性与完备性反应在概率上是概率的总和具有归一性。因此，信息源的基本概型结构：消息单元XiX1，X2，……Xn概率分布P(Xi)P(X1)

7、，P(X2)，……P(Xn)实际例子：设有一在外的工作人员，收到消息得知家中的老母中风住院治疗，这时他母亲就是个信息源，可能处于的本征态：可能发送出的消息单元有(Xi)：消息单元XiX1死亡X2昏迷X3偏瘫X4好转X5康复概率分布P(Xi)1/51/51/51/51/5当工作人员又接到家信得悉母亲经抢救后，已恢复意识，正在积极进行治疗。这时信息源的本征态或消息单元的集合概率分布已发生了变化。消息单元XiX1死亡X2昏迷X3偏瘫X4好转X5康复概率分布P(Xi)001/