广义信息熵的推广与应用讲述

《广义信息熵的推广与应用讲述》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、青岛农业大学本科生课程论文论文题目广义信息熵的推广与应用学生专业班级信息与计算科学09级02班学生姓名（学号）（20094052）指导教师吴慧完成时间2012年6月28日2012年6月28日课程论文任务书学生姓名指导教师吴慧论文题目广义信息熵的推广与应用论文内容：本文先介绍了Shannon信息熵的定义，并对其进行了一定的分析，介绍了它的一些基本性质。其次，说明Shannon熵的局限性，以此引出了广义信息熵。然后对常用的Renyi熵、Tsallis熵进行讨论，说明它们与Shannon熵的联系。最后介绍了广义熵在实际生活中的应用。资料、数

2、据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。发出任务书日期2012-6-5完成论文日期2012-6-19教研室意见（签字）院长意见（签字）广义信息熵的推广与应用信息与计算科学指导教师吴慧摘要：本文先介绍了Shannon熵，由Shannon熵推广到一般的广义信息熵，使其适用范围更广。然后在Shannon熵的基础上介绍了两种最常用的广义

3、信息熵：Renyi熵和Tsallis熵，说明了这两种广义信息熵的简单性质，以及与Shannon熵的联系和性质上的差异。最后介绍了广义熵在实际生活中的应用。关键词：Shannon熵；广义信息熵；应用ThepromotionandapplicationofthegeneralizedinformationentropyStudentmajoringinInformationandComputingScienceZhuMengTutorWuHuiAbstract：Atthebeginningofthisarticleitintroduced

4、theShannonentropy.Then,itdescribedthetwomostcommonlyusedgeneralizedinformationentropy:RenyientropyandTsallisentropyonthebasisoftheShannonentropy.Whatismore,thisarticlenotonlydescribedthesimplenatureofthegeneralizedinformationentropybutalsodescribedtheircontactwiththeSha

5、nnonentropyaswellasthedifferentnaturebetweenthem.Finally,itintroducedtheapplicationofthegeneralizedentropyinreallife.Keywords:Shannonentropy;generalizedinformationentropy;application引言：熵是信息论中的一个重要概念，对它的研究有十分重要的意义。进入20世纪中叶，人们发现熵还可以用来描述信息，这就是信息熵。1948年，在贝尔电报电话公司工作的应用数学家Sha

6、nnon（香农，声农）发表了《通讯的数学理论》一文，成为信息论诞生的标志[1]。目前，用得最多的熵函数是Shannon熵。Shannon熵的概念的提出对通信技术的发展具有深远的影响，但是它的应用仅限于通信等一些很局限的领域而且香农熵的概念在连续随机变量下失去意义。为了弥补Shannon熵的缺陷，统计学家对熵的定义作了很多推广，形成了广义信息熵。其中重要的是A.N.Kolmogorov在1958年引入的ε熵。ε熵不但解决了连续随机变量下香农熵定义推广时的困难，而且导致率失真理论的建立。此外，A.Renyi在1961年时认为香农熵只是在编

7、码问题中才是唯一可取的形式，在其他情况下其他信息度量同样可用甚至更好。Renyi具体提出所谓的α阶熵，香农熵可以看成是α阶熵的一种极限形式因而被包括在α阶熵的概念之内。自Renyi后J.Havrda在1967年提出β熵，S.Arimoto在1971年提出γ熵，S.Guiasu提出了加权熵，B.D.Sharma和D.P.Mittal于1975年提出α阶β次熵，C.Ferreri于1980年引入次熵[2]。这些熵在模糊集理论中有着重要的应用。本文从Shannon熵出发，讨论了主要讨论了Renyi熵和Tsallis熵这两种广义信息熵的性质及

8、其应用。1Shannon熵及其性质信息论所关心的是随机变量的不确定性。显然，随机变量的不确定程度越高，我们从实验中可能获取的信息也就越多。我们知道随机变量的不确定性与其概率分布有关，直观看来，随机变量的不确定程度并不一样