信息熵及其性质和应用

《信息熵及其性质和应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、青岛农业大学本科生课程论文论文题目信息爛及其性质和应用学生专业班级学生学号姓名20093992指导教师吴慧完成时间2012年06月25日课程论文任务书学生姓名扌旨导教师吴慧论文题冃论文内容（需明确列出研究的问题）：研究信息爛的冃的就是为了更深入的了解信息爛，更好的了解信息爛的作用，更好地使用它解决现实生活中的问题。文中介绍了信息爛的定义和性质及其应用。使我们对信息爛有跟深入的了解。资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。内容要理论

2、联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。参考文献的书写按论文中引用的先后顺序连续编码。发岀任务书H期06月15日完成论文日期06月25日教研室意见（签字）院长意见（签字）信息爛及其性质和应用信息与计算科学专业指导教师吴慧摘要：信息爛是随机变量不确定性的度量，文中从信息嫡的定义出发，结合信息爛的性质,介绍了目前信息嫡在具体问题中的应用。信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。人类社会发展的速度，在一定程度上取决于人类对信息利川的水平，所以对信息的度量就很有必要。香农提出信息的i种度量，爛的

3、定义形式，它是随机变量不确定性的度量，文屮主要介绍爛的性质及其应用。关键词；信息爛性质应用InformationentropyanditspropertiesandApplicationStudentmajoringinInformationandComputingScienceSpecialtydongqiangTutorWuHuiAbstract：informationentropyisameasureofuncertaintyofrandomvariable,thispaperfromthedefinitionofinformationentropy,combinedw

4、iththenatureofinformationentropy,informationentropy,introducedthespecificissuesintheapplicationof.Informationisaverypopularandwidclynoun,itishumanunderstandingoftheworld,transformingtheworldknowledgesource・Thehumansocietydevelopmentspeed,dependononcertainlevelthehumanmakeuseofinformationlev

5、el,sothemeasurementinformationisnecessary.Shannonputforwardtheinforma-tionakindofmeasurement,thedefinitionofentropyform,itistheuncertaintyofrandomvariablemetric,thispapermainlyintroducesthepropertyofentropyanditsapplication・Keywords:informationentropypropertiesapplication引言:作为一种通俗的解释，炳是一种不规

6、则性的测量尺度.这一种解释起源丁•香农在通讯理论的研究屮，为确定信息量而提出的一种爛测度.对于离散概率分布p二(p“p…,pn),香农爛定义为H(X)=E[I(Xj)logp•在P1+P2+P3+…PF1的条件下，为使H(X)最大，显然是P1=l/k(i二1,2,…，k),即在等概率分布情况下II(X)达到最大值，换句话说，爛的值与不规则度(如杲以等概率分布作为不规则性的极端表现)是一致的.这是爛作为一个概率测度的理论基础.物理学的发展为爛理论提供了更为现实的应用背景，热力学的第二法则既是所谓爛增大的法则，对孤立的系统，系统的热力学状态只能假定在爛增大的方向上起变化,Bolt

7、zmann原理把爛引入了热力学的研究领域，他所提供的箸名关系式S=klogw(w是系统状态的概率)是后來Planck的量变论及爱因斯坦的光量了理论开展的基础.人们对爛的认识和应用很长一段时间内都局限丁理论物理领域，直到本世纪中叶，一些人开始注意到爛对系统不确定性度量的一般性，试图在行为科学和社会科学屮更广泛地引用炳，对-些复杂现象加以刻划。信息entropy)的概念设一个离散型随机变量和它的概率分布为K勺…兀兀+i_P（x）__PP2…PnA+l_”+10印02^=11=1任意随机事件的自信息量定义为