信息论与编码 第一章 绪论

《信息论与编码 第一章 绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码课程信息教材及主要参考书：①《信息论基础教程》第二版李梅,李亦农北京邮电大学出版社，2008年10月②《信息论---基础理论与应用》，傅祖芸电子工业出版社，2001年8月考核：平时成绩20％（作业、考勤、实验）期末考试80％（闭卷）答疑：实践性教学内容、要求及学时分配实验一：信道容量的迭代算法2学时实验二：Huffman编码2学时实验三：通信系统仿真4学时（备选题目：LZW压缩编码）国外参考教材T.M.Cover,FundamentalofInformationTheory?最为流行的英文教材，为Stanford、MIT等学校的研究生课程选用?数学推导适中，强

2、调概念，作为参考教材R.G.Gallager,InformationTheoryandReliableCommunication?数学推导较为艰深?作为提高教材第一章：绪论一、什么是信息二、通信系统模型三、信息论的研究内容四、信息论的形成和发展第一章：绪论一、什么是信息二、通信系统模型三、信息论的研究内容四、信息论的形成和发展1.概述2.信息的通俗概念3.信息的狭义概念（香农信息）4.信息的广义概念组成客观世界的三大基本要素：物质能量信息没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。——美国学者欧廷格研究内容形成和发展什么是信息通信系统模型第一章：

3、绪论1.概述2.信息的通俗概念信息的通俗概念：消息就是信息。用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为消息。研究内容形成和发展什么是信息通信系统模型第一章：绪论消息中包含信息，消息是信息的载体。2.信息的通俗概念（续1）信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。信息信号消息研究内容形成和发展什么是信息通信系统模型第一章：绪论3.信息的狭义概念（香农信息）第一章：绪论研究内容形成和发展什么是信息通信系统模型香农信息：信息是对事物运动状态或存在方式的不确

4、定性的描述。通信的基本问题是在一点(信宿）精确或近似恢复另一点（信源）所选择的消息。————香农通信的过程就是消除不确定性的过程。3.信息的狭义概念（香农信息）（续1）第一章：绪论例1：甲袋红、白球各50个，乙袋红、白、蓝、黑球各25个。比较从甲袋中取出一个球是红球的事件和从乙袋中取出一个球是红球的事件发生的难易程度，也就是事件发生的不确定性。研究内容形成和发展什么是信息通信系统模型3.信息的狭义概念（香农信息）（续2）第一章：绪论例2：北京地区十月份可能出现的天气包括：晴、阴、雨、雪。比较天气预报为“晴”和天气预报为“雪”，给人们带来的信息量。研究内容形成和发展什么是信

5、息通信系统模型结论：不确定性的大小与事件发生的概率有关。3.信息的狭义概念（香农信息）（续3）第一章：绪论研究内容形成和发展什么是信息通信系统模型不确定性的大小与事件发生的概率有关因此，信息量可以表示为概率的函数。不确定性是概率的函数3.信息的狭义概念（香农信息）（续4）信息与概率的关系：事件发生的概率越大，该事件包含的信息量越小；如果一个事件发生的概率为1，那么它包含的信息量为0；两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。第一章：绪论研究内容形成和发展什么是信息通信系统模型3.信息的狭义概念（香农信息）（续5）某个消息的不确定性（含有的信息量）可以表

6、示为：第一章：绪论研究内容形成和发展什么是信息通信系统模型信源的平均不确定性：3.信息的狭义概念（香农信息）（续6）第一章：绪论香农信息的优点：有明确的数学表达式，定量化与人们直观理解的信息含义一致不考虑收信者主观感受的不同，认为同一消息对任何收信者，所得信息量相同。研究内容形成和发展什么是信息通信系统模型3.信息的狭义概念（香农信息）（续7）第一章：绪论香农信息的局限：没有考虑收信者的主观特性和主观意义研究内容形成和发展什么是信息通信系统模型4.信息的广义概念研究内容形成和发展什么是信息通信系统模型信息是认识主体（人、生物、机器）所感受的和表达的事物运动的状态和运动状态

7、变化的方式。语法信息语义信息语用信息第一章：绪论第一章：绪论一、什么是信息二、通信系统模型三、信息论的研究内容四、信息论的形成和发展1.通信系统模型2.提高通信系统的性能指标的措施1.通信系统模型研究内容形成和发展什么是信息通信系统模型第一章：绪论图1通信系统模型1.通信系统模型（续1）信源编码器信道译码器信宿第一章：绪论研究内容形成和发展什么是信息通信系统模型1）信源研究内容：信源发出的消息的统计特性离散信源、连续信源、波形信源有记忆信源和无记忆信源平稳信源和非平稳信源信源产生信息的速率熵率第一章：绪论研究内容形成和发展什么