香农信息论的局限性分析

《香农信息论的局限性分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、香农信息论的局限性分析作者：wangyong77提交日期：2007-7-178:11:00　　香农信息论的局限性分析　　LimitationsAnalysisesofShannon'sInformationTheory　　王勇　　（计算机与控制学院，桂林电子科技大学，广西　桂林　541004）　　　　WANGYong　　（CollegeofComputerandControl,GuiLinUniversityOfElectronicTechnology，Guangxi,Guilin,541004）　　摘要：从新的角度指出了香农信息论的局限性，指出了它没有考虑信息

2、的可靠性，完备性等特点，指出条件熵的计算公式问题并且进行了纠正，并且举例证明了条件熵可能增加，进而香农信息定义中的不确定性的减少也不是绝对的。说明了为什么信息论能够在通信中得到应用，却不能很好地在日常生活中应用。在这些分析的基础上给出了信息的新定义以及信息相关的一些模型。　　关键词：信息论；条件熵；定义；可靠性　　Abstract：LimitationsofShannon'sinformationtheoryareanalyzed.Itispointedoutthatinformationtheorydidn’tconsiderthereliability,co

3、mpletenessandothercharacteristicsofinformation,andthecomputationformulaofconditionalentropyisfalse.Thecorrectedcomputationformulaofconditionalentropyisgiven.Examplesaregiventoillustratetheconditionalentropymaybeincreased,soShannon’sdefinitionofinformationisnotabsolutelycorrect.Therea

4、sonispresentedwhyinformationtheorycanbeprimelyusedincommunication,whileitcannotwellusedininourdailylife.Basedontheanalyses,newdefinitionofinformationisgiven,themodelhowinformationisproduced,andcorrelativemodelsofinformation.　　Keywords:informationtheory;conditionalentropy;definition;r

5、eliability　　中图分类号：O23文献标识码：A　　引言　　香农（又译仙农，Shannon）信息论对信息技术的发展具有深远的影响[1]。但是信息论的应用一直现有通信等一些很局限的领域，信息论并不能够完全地适用于一些信息技术相关的领域。关于香农信息论的局限性，许多学者都有认识，香农本人也反对将信息论滥用。国内外一些学者从许多角度讨论了信息论的局限性，比如没有考虑语义，语用，没有考虑信息的模糊性和事件之间的相似性，没有考虑事件划分可能存在包含关系等[2-3]。笔者则指出，目前信息的定义都没有考虑信息的可靠性这一因素，则导致了信息论无法应用在众多的信息技术领域

6、，比如人工智能，信息融合等领域。　　信息定义的局限　　关于信息的定义据笔者搜索超过60种，香农的信息定义是比较流行的一个，他定义如下：信息是用以消除随机不确定性的东西。还有许多学者对这个定义有所修改，但是这些定义都是考虑到消除的随机不确定性，并没有考虑到信息的可靠性。还有一类定义，比如信息是被反映的物质的属性，信息是结构的表达等，都明显蕴含一个意思，信息是可靠的，是对物质、事物或者结构的一种正确的反映或者表达。在所有的信息定义中，都没有发现它们对于可靠性以及类似的属性的考虑[4]。　　然而，信息之所以能够被利用，信息之所以被重视，它的可靠性是前提。一旦信息足够的

7、不可靠，信息的价值完全丧失，而且可能起反作用。　　香农对信息的定义，对信息的度量，以及它的信息论，基本上都是考虑的是用熵来计算的随机不确定性，并没有考虑信息的可靠度，对信息的可靠度的考虑最多是从信息传递过程中的失真进行了考虑。当然香农也对冗余有所考虑，但是他的冗余度是一个整体的，平均的量。为什么信息论在通信领域非常适用，因为在通信中，无需考虑信息的可靠性。那是发送者在发送之前或者是接受者在接受之后考虑的，在通信的过程中，一切的目的是如此快速，可靠地发送信息。接受信息的可靠与否，失真与否，与被发送的信息的可靠性，完备程度和真实程度没有关系，它只需要与发送的信息相比

8、较是可靠真实的就达到了通