第1章 绪论 信息论基础

《第1章 绪论 信息论基础》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论基础主讲：刘佟联系方式：568506227@qq.com课程信息教材及主要参考书：①《信息论基础教程》第二版李梅,李亦农北京邮电大学出版社，2008年10月②《信息论---基础理论与应用》，傅祖芸电子工业出版社，2001年8月考核：平时成绩30％（作业、考勤、实验）期末考试70％（闭卷）答疑：国外参考教材T.M.Cover,FundamentalofInformationTheory?最为流行的英文教材，为Stanford、MIT等学校的研究生课程选用?数学推导适中，强调概念，作为参考教材R.G.Gallager,InformationTheoryandReliableC

2、ommunication?数学推导较为艰深?作为提高教材第一章：绪论一、什么是信息二、通信系统模型三、信息论的研究内容四、信息论的形成和发展第一章：绪论1.概述2.信息的通俗概念一、什么是信息3.信息的狭义概念（香农信息）二、通信系统模型4.信息的广义概念三、信息论的研究内容四、信息论的形成和发展第一章：绪论什么是信息通信系统模型研究内容形成和发展1.概述组成客观世界的三大基本要素：物质能量信息没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。——美国学者欧廷格第一章：绪论什么是信息通信系统模型研究内容形成和发展2.信息的通俗概念信息的通俗概念：消息就是

3、信息。用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为消息。消息中包含信息，消息是信息的载体。第一章：绪论什么是信息通信系统模型研究内容形成和发展2.信息的通俗概念（续1）信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。信息消息信号第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息）香农信息：信息是对事物运动状态或存在方式的不确定性的描述。通信的过程就是消除不确定性的过程。通信的基本问题是在一点(信宿）精确或近似恢复另一点（信源）所

4、选择的消息。————香农第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息）（续1）例1：甲袋红、白球各50个，乙袋红、白、蓝、黑球各25个。比较从甲袋中取出一个球是红球的事件和从乙袋中取出一个球是红球的事件发生的难易程度，也就是事件发生的不确定性。第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息）（续2）例2：北京地区十月份可能出现的天气包括：晴、阴、雨、雪。比较天气预报为“晴”和天气预报为“雪”，给人们带来的信息量。结论：不确定性的大小与事件发生的概率有关。第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信

5、息的狭义概念（香农信息）（续3）不确定性的大小与事件发生的概率有关不确定性是概率的函数因此，信息量可以表示为概率的函数。第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息）（续4）信息与概率的关系：事件发生的概率越大，该事件包含的信息量越小；如果一个事件发生的概率为1，那么它包含的信息量为0；两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息）（续5）某个消息的不确定性（含有的信息量）可以表示为：111xpx()Ix()logIx()logl

6、og()px11551iipx()i44xpx()Ix()log22255信源的平均不确定性：q1144HX()loglogH(X)p(xi)logp(xi)5555i1第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息）（续6）香农信息的优点：有明确的数学表达式，定量化与人们直观理解的信息含义一致不考虑收信者主观感受的不同，认为同一消息对任何收信者，所得信息量相同。第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息）（续7）香农信息的局限：没有考虑收信者的主观特性和主观意义第一章：绪论什么是

7、信息通信系统模型研究内容形成和发展4.信息的广义概念信息是认识主体（人、生物、机器）所感受的和表达的事物运动的状态和运动状态变化的方式。语法信息语义信息语用信息第一章：绪论一、什么是信息1.通信系统模型二、通信系统模型2.提高通信系统的性能指标的措施三、信息论的研究内容四、信息论的形成和发展第一章：绪论什么是信息通信系统模型研究内容形成和发展1.通信系统模型图1通信系统模型第一章：绪论什么是信息通信系统模型研究内容形成和发展1.通信系统模型（续1）