李梅李亦农《信息论基础教程》课件教案第一章绪论

《李梅李亦农《信息论基础教程》课件教案第一章绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、李梅信息论与编码李梅，女，1969年7月生，博士，副教授，硕士生导师。1991年毕业于北京邮电大学通信工程专业，学士，2003年毕业于北京工业大学计算机应用技术专业，硕士，2011年获中国地质大学（北京）地球物理仪器方向博士。2003年至今在中国地质大学（北京）工作，主要从事信号与信息处理的教学和科研工作。主讲课程：《信息理论与编码》、《虚拟仪器技术》、《现代数字信号处理》。主要研究与招生方向：信号采集与信息处理、通信与网络技术、地球物理仪器。目前是科技部创新基金评审专家、海淀区科委科技项目评审专家、北京市科技咨询中心专家库成员、中国

2、电子学会高级会员、中国仪器仪表学会高级会员。已出版教材：李梅，李亦农.信息论基础教程（第二版）.北京：北京邮电大学出版社，2008李梅，李亦农.信息论基础教程习题解答和实验指导（第二版）.北京：北京邮电大学出版社，2011刘文林，李梅，李洪.组网工程.北京：北京邮电大学出版社，2008刘文林，李梅，吴誉兰.计算机系统安全.北京：北京邮电大学出版社，2009课程信息教材及主要参考书：①《信息论基础教程》第二版李梅,李亦农北京邮电大学出版社，2008年10月②《信息论---基础理论与应用》，傅祖芸电子工业出版社，2001年8月考核：平时成

3、绩20％（作业、考勤、实验）期末考试80％（闭卷）答疑：实践性教学内容、要求及学时分配实验一：信道容量的迭代算法2学时实验二：Huffman编码2学时实验三：通信系统仿真4学时（备选题目：LZW压缩编码）国外参考教材T.M.Cover,FundamentalofInformationTheory?最为流行的英文教材，为Stanford、MIT等学校的研究生课程选用?数学推导适中，强调概念，作为参考教材R.G.Gallager,InformationTheoryandReliableCommunication?数学推导较为艰深?作为提高

4、教材第一章：绪论一、什么是信息二、通信系统模型三、信息论的研究内容四、信息论的形成和发展第一章：绪论一、什么是信息二、通信系统模型三、信息论的研究内容四、信息论的形成和发展1.概述2.信息的通俗概念3.信息的狭义概念（香农信息）4.信息的广义概念组成客观世界的三大基本要素：物质能量信息没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。——美国学者欧廷格研究内容形成和发展什么是信息通信系统模型第一章：绪论1.概述2.信息的通俗概念信息的通俗概念：消息就是信息。用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉

5、器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为消息。研究内容形成和发展什么是信息通信系统模型第一章：绪论消息中包含信息，消息是信息的载体。2.信息的通俗概念（续1）信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。信息信号消息研究内容形成和发展什么是信息通信系统模型第一章：绪论3.信息的狭义概念（香农信息）第一章：绪论研究内容形成和发展什么是信息通信系统模型香农信息：信息是对事物运动状态或存在方式的不确定性的描述。通信的基本问题是在一点(信宿）精确或近似恢复另一点（信源）所选择的消

6、息。————香农通信的过程就是消除不确定性的过程。3.信息的狭义概念（香农信息）（续1）第一章：绪论例1：甲袋红、白球各50个，乙袋红、白、蓝、黑球各25个。比较从甲袋中取出一个球是红球的事件和从乙袋中取出一个球是红球的事件发生的难易程度，也就是事件发生的不确定性。研究内容形成和发展什么是信息通信系统模型3.信息的狭义概念（香农信息）（续2）第一章：绪论例2：北京地区十月份可能出现的天气包括：晴、阴、雨、雪。比较天气预报为“晴”和天气预报为“雪”，给人们带来的信息量。研究内容形成和发展什么是信息通信系统模型结论：不确定性的大小与事件发

7、生的概率有关。3.信息的狭义概念（香农信息）（续3）第一章：绪论研究内容形成和发展什么是信息通信系统模型不确定性的大小与事件发生的概率有关因此，信息量可以表示为概率的函数。不确定性是概率的函数3.信息的狭义概念（香农信息）（续4）信息与概率的关系：事件发生的概率越大，该事件包含的信息量越小；如果一个事件发生的概率为1，那么它包含的信息量为0；两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。第一章：绪论研究内容形成和发展什么是信息通信系统模型3.信息的狭义概念（香农信息）（续5）某个消息的不确定性（含有的信息量）可以表示为

8、：第一章：绪论研究内容形成和发展什么是信息通信系统模型信源的平均不确定性：3.信息的狭义概念（香农信息）（续6）第一章：绪论香农信息的优点：有明确的数学表达式，定量化与人们直观理解的信息含义一致不考虑收信者主观感受的不同