从Shannon信息论到认知信息论

《从Shannon信息论到认知信息论》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第32卷第8期哈尔滨工程大学学报Vol．32№．82011年8月JournalofHarbinEngineeringUniversityAug．2011doi:10．3969/j．issn．1006-7043．2011．08．018从Shannon信息论到认知信息论卢侃(哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨150001)摘要:人类认知属于特定的信息活动，应该有其相应的数学理论．以Shannon信息论的熵理论为基础，探讨了认知的数学原理，指出认知活动其实就是从庞大的感知输入信号之中，以一次次减熵的数学运算获得外界事物的存在信息和其属性信息．并且还在事物性态的相互约束中，以减熵运

2、算总结出事物间的规律信息．至于事物的状态信息，可以通过规律知识加以预测，并在当前适时的观察中，从象信息参数的变异里检测到．关键词:认知;减熵;象信息;物信息;规律知识信息中图分类号:G201文献标识码:A文章编号:1006-7043(2011)08-1063-05FromShannon'sinformationtheorytocognitiveinformationtheoryLUKan(CollegeofInformationandCommunicationEngineering，HarbinEngineeringUniversity，Harbin150001，China)Abstr

3、act:Humancognitionisakindofinformationactivity，soitmusthaverelevantmathematicaltheoriesofitsown．BasedontheentropytheoryofShannon＇sinformationtheory，thefundamentalmathematicalprincipleofcogni-tionwasdiscussed．Itwaspointedoutthatcognitionisaseriesofdecreasesinentropythroughwhichtheobjectin-formati

4、onandinformationofregularitiesareobtainedfromenormousinputperceptionsignals．Asforthestateofin-formation，itcanbepartlydeterminedbypredictionandpartlydetectedinrealobservationofthevariationsinap-pearanceinformation．Keywords:cognition;decreaseinentropy;appearanceinformation;objectinformation;inform

5、ationofregularity［1-2］Shannon信息论主要是通信的信息理论．但所理．提出的"信息就是不确定性的消除"这一基本论点，人类认知活动其实也是一种信息加工的活动．不仅适用于描述通信的过程，也适用于描述认知的原则上说，也是可以用严格的数学运算来加以描述．过程．因为，人类每次认知的结果，都是对于外界事即类似于Shannon的"通信的数学理论"，应该也有物信息的不确定性的减少或完全消除．透沏地说，通一种"认知的数学理论"．一旦这个理论建立，认知信也属于一种间接的认知，即将一些人的认知传给信息的活动就有了严格的数学模型．将这个模型实另一些人使之认知而已．用化以后，一个可以做复

6、杂运算的电子计算机就可Shannon信息论的精髓在于将通信的内容抽象以实现认知的运算，从而出现真正的模拟人类认知［3］为信息，赋予信息以数学的形式，将通信过程中的信的电子大脑．息加工变为严格的数学运算．如果一个信源的实际1认知信息加工的原材料、产品和加信息熵小于其占用的编码空间，那么，就可以对信源参数做一种编码压缩的数学变换，使新编码所占用工的数学实质的空间可以压缩到接近甚至等于原始信源的信息1．1认知信息加工的原材料熵．这样，就可以用较少的信道容量完成通信而不丢人在感知外界时，感觉器官要输入大量的物理失信息．如信道中有干扰，则增加相应的监督码量来或化学刺激(通常称为信号)．这些信号因

7、不同感官纠错而保证信息的无损传输．最后在接收端，还要做而有质的不同;而相同感官输入的同质信号又因空一种译码的数学反变换以完整地恢复原始信号．这间和时间的离散采样而有序位的不同，它们组成有就是Shannon的信源编码和信道编码的基本数学原标的数据集合．数据集合的标号提供感官的性质、感知的位置和时间、感知的方向等信息;数据集合中的收稿日期:2010-10-19．序号则提供对同质信号所做的离散空间和离散时间基金项目:国家自然科学基金资助项目(5037