信息论chapt12课件

《信息论chapt12课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论基础Informationtheory用数学方法研究信息的传输（存储）及转换处理的理论又名：mathematictheoryofCommunication（关于通信的数学理论）满蔚仕教5-712Whythisbook?authority,betterthanmostofdomesticones.NogoodtranslationIeeeinformationtheory这本教材的特点EinsteinquotationEverythingshouldbemadeassimpleaspossible,butnosimpleDon’tmakethingmoreco

2、mplicatedthantheyneedtobe,butonTheotherhandifyoutakeawaytwomuchthenyouloseInformation.Thuseverythinghasaminimaform.凡事能减则简，但不要太简信息论回答了通信中的二个问题临界数据压缩的值（熵）临界通信传输速率（信道容量）信息论回答了通信中的二个问题通信方面纠正了通信理论认识误区，以前人们认为：信息传输速率越高，出错的概率越大，香农证明了只要通信的速率低于信道容量，这个观点是不对的。音乐等随机信号有一个不可再降低的复杂度，低于这个复杂度，信号不可再压缩，这

3、个最低复杂度就是熵（香农熵）信息论与其他学科的关系计算机科学一组数据串的复杂度可以定义为计算该数据所需要的最短二进制程序的长度。一般认为Kolmogorov复杂度比香农熵更基础信息论与其他学科的关系物理学孤立系统，熵永远增加。通信中的熵和热力学中的熵的关系仍有科学家关注信息论与其他学科的关系经济学中财富的增长率与股票市场的熵率有对偶关系。计算受制通信速度，而通信又受制与计算速度。二者互相影响。以信息论为基础通信理论会对计算理论有影响。教材傅祖芸，信息论基础理论与应用；Robertgallager‘informationtheoryandreliablecommun

4、ication’大家以后学会习惯外文教材和文献信息论的奠基人(Shannon)主要创始人是Shannon(1916-2001)–1940年DoctorofMIT美国科学家香农（C.E.Shannon）在1948年和1949年先后发表的两篇文章“Themathematicaltheoryofcommunication”和“Communicationinthepresenceofnoise”，奠定了信息论的基础。香农在这两篇论文中，讨论了信息的度量、信息特征、信息传输速率、信道容量、干扰对信息传输的影响等问题，全部理论建立在信息是可以度量的基础上，但他没有给出信息的定

5、义，只是提出问题，分析问题，得出结论。Chapter1Introduction21世纪，信息世纪，信息大爆炸、信息战……1.1何为“信息”（Information）？说法很多，典型几种：3)是事物运动状态或存在方式的不确定性描述(uncertaintydescription)。—C.E.shannon(USA),《MathematicTheoryofCommunication》,1948.2）是反映事物的形式、关系与差别(differences)的东西。—G.Longe(Italy),《InformationTheory：TheNewTrendsandOpenQu

6、estions》,1975.Question：无差别就无信息吗？1)是人与外部世界进行相互交换的内容(interchangingcontents)。—N.Wiener(USA),《Cybernetics》,1948.Question：相互交换的不只是信息，还有物质、能量。Chapter1Introductionshannon’s定义—morescientific，because:“他每天都吃饭”（certain，uninformative）；指出了人们通常概念上的消息(Message)与信息(Information)的差别。揭示了信息的本质(essences)。事

7、物发生的不确定性是信息的本质体现(atleastpartof)。体会下面的三句话，描述一个人在正常情况下就餐情况:“他每天都吃米饭”（whathelike,uncertain）；“他每天都吃八大碗米饭”（likeandhowmany,uncertain）。信息也不等于知识(Knowledge)。知识—人们对事物所获得的认识与经验总结（known）。信息—事物存在或运动状态不确定性描述（unknown,unpredictable)。按照香农定义，信息甚至可以被量化(canbequantifiedbystochasticprocessandprobabilistic)

8、。一条消息