信息论与其他学科的关系和应用.ppt

《信息论与其他学科的关系和应用.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与其他学科的关系和应用主要内容信息论与热力学信息论与光学信息论与生物医学熵的起源热力学中的熵信息论中的熵二者之间的关系对于二者关系的争论：“麦克斯韦妖”问题1）描述2）解决back熵的起源Entropy希腊字母原意：转变来源于热力学最早由法国物理学家克劳修斯（K.Clausius）在《热力推动说》中提出经典热力学中，物理系统熵的变化计算：热力学中的熵热力学熵是系统紊乱程度的测量热力学熵是一个物理系统的无组织程度的度量，是系统无序状态的描述，使状态无序性的表现。热力学第二定律指出：一个系统在孤立的封闭状态下，总是自发的由有序状态，走向无序状态，使熵增加。例如：

2、墨水的扩散，一个被隔板分开的两部分气体的混合等。信息论中的熵信息论中的熵也可以看作紊乱程度的度量有秩序的信源其熵最小，无秩序的随机信源其熵最大。信息熵是动态的。当信息通过系统传输到收信者后，信源的熵要改变。二者之间的关系热力学熵的不减原理和信息熵不增原理信息熵和热力学熵的数学表达式是一致的，二者只差一个负号。二者有内在的度量关系热力学熵的不减原理：在任何系统的演化中，系统的总熵是永远不会减少的。信息熵的不增原理：信息熵只会减少，不可能增加。尤其信息经过传输和处理熵只会减少。back信息熵是消除不定度所需要的度量，而热力学熵是系统混乱程度的度量。要使混乱的系统有序化就需

3、要有信息，而信息的丢失就表示系统混乱程度的增加。一个系统有序程度增高，则熵就减少，所获取的信息就越多，反之，一个系统无序程度增高，则熵增大，所丢失的信息越多。back在N个等概率状态的物理系统中，输入能量Q，对应的热熵的变化为：其中：则：1（比特）＝kln2(J/K)要获得一比特的信息，相应要消耗的能量约为0.957x(10-23)(J/K)。可见，信息的获取必须借助于一定的物质过程，并伴随着消耗一定的能量。back麦克思韦妖的描述：著名的物理学家麦克思韦于1971年提出了第二类永动机模型，既“麦克思韦妖”。back解决容器是封闭的孤立系统，Ta＝Tb＝T，麦克思韦妖

4、是出于温度为T的封闭体系中。平衡体内是绝对黑体，处于绝对黑体中的妖魔是不可能看清任何东西的。所以，麦克思韦妖无法分辨分子运动的速度back简介光学信息论光学信息量光量子信道的信道容量最大熵光学图像恢复back光是支撑人类生命的一种主要能源，也是提供人类信息的主要信息源。由于光的存在，人眼才能获取大量的信息。光所提供的信息内容及其丰富，涉及极抽象的艺术到极深奥的科学。光学是人们获取信息的最基本和有效的手段之一，光信道是人们存储和传递信息的有效手段之一。光学和信息论的结合形成了一门独立的学科----光学信息论。back光学信息论这门学科主要研究:1.光学成像的图像或物体的

5、信息如何度量;2.信息量经各种光学系统如何传递;3.如何衡量最后到达像平面的信息量;4.不同光学系统或光学方法传递光学信息量的最大限度和效能;(1955年意大利科学家G.ToraldoDirancia首先将信息论引入光学领域.)光学信息量一个光场传递信息量的表达式:分别表示:时间,空间,颜色自由度.是主要的.对于其,是最主要的一个实参量.是一个光学系统中很重要的物理量,为数量上准确评价个光学系统提供了依据.back光量子信道的信道容量从信息论的角度可以认为信道是信号和噪声叠加的信道.可见,当频率很高时,信道容量的极限是C光量子,只有当噪比很低时,光量子的信道的极限值才

6、等于香农信道容量公式的极限值.back最大熵光学图像恢复1.光学物和像的概率解释物面上的光强度分布等于物面上发出光子的概率分布.2.最大熵光学图像恢复若能从获得的像数据中估计出物面上发出光子的概率分布,就等于知道了物面的光强度分布.采用的是最大似然分布方法.在光学中求最大似然分布等于计算最大熵时的概率分布(又称为最大熵光学图像恢复方法).求解熵最大的两个约束条件是:从所探测得到的像数据,根据约束条件式,求出达到最大熵的概率分布{Pi},来重构物的光强度分布.这就是最大熵光学图像恢复方法信息论与生物医学两个方面的应用:1.指导探索DNA的结构2.应用与医学中的信息分析探

7、索DNA的结构DNA的关键在于核柑酸,不同的核柑酸又不同的碱基.由碱基控制氨基酸合成蛋白质.但是碱基只有4种,而氨基酸有20种.如何控制呢?如果碱基等概则:至少要进行三重扩展才可以使碱基的信息熵大于氨基酸集合的信息熵.人们从信息论的观点提出了核柑酸的三联体的概念.即有三个核柑酸(即三个碱基)编码组成一个遗传密码.而科学实验结果证明了这种想法是正确的.可见信息论的指导作用.应用与医学中的信息分析任何系统都相应有一个描述它稳定的多样性核组织性的信息熵值.信息熵能对机体中系统状态作出定量描述,在医学研究中具有重要地位.END