信息论与编码1----绪论

《信息论与编码1----绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息理论与编码武汉理工大学理学院胡国政1课程计划1、总学时48，其中讲课40学时，实验8学时2、交作业和实验报告3、总成绩由两部分组成，平时成绩占30％，考试成绩占70％4、计划讲授教材的一至七章2教材和参考书：参考书：1．信息论与编码，曹雪虹张宗橙编，北京邮电大学出版社，20012．信息论—基础理论与应用，傅祖芸编著，电子工业出版社，20013．信息理论与编码，姜丹钱玉美编著4．信息论与编码，吴伯修归绍升祝宗泰俞槐铨编著，1987教材：信息理论与编码，吕锋等编，人民邮电出版社3课程概述当今的时代是一个信息的时代，信息处理技术的不断进步极大的影响了我们

2、的生活，使我们的生活质量得到很大提高。本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成4学习方法本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。5第一章绪论1信息的概念2信息论研究的对象、目的和内容3信息论的发展

3、简史与现状61信息的概念从哲学的角度上讲，信息是构成物质世界的三大支柱之一，其他两个是物质和能量。可以说我们生活在信息的海洋之中，没有信息就没有世界，当然也就没有我们人类社会。人类利用信息利用信息的历史非常悠久，而且随着人类社会的发展而发展。到了现代，信息的利用已经非常重要，以至于我们当今生活的社会被称作信息社会。可见信息的重要。但是有史以来，人们都没有对信息下过一个确切的定义。就像对于物质和能量一样。7信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。广泛性客观世界充满着信息人类离不开信息知识、书本是有用信息的积累抽象性三大要素是：物质、能

4、量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。8信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。9信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。如电信

5、号、光信号等。消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象。10信息：信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候就是一种信息。信息是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。11信息的主要特征信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相

6、对独立地存在；信息来源于精神世界，但又不局限于精神领域；信息与能量息息相关，但又与能量有本质的区别；信息具有知识的本性，但又比知识的内涵更广泛；信息可以被主体获取和利用。12信息论基础的重要性信息论是信息科学和技术的基本理论,信息科学大厦的地基;没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情;总之,信息论是高层次信息技术人才必不可少的基础知识。132信息论研究对象、目的和内容通信系统模型信源信道信宿编码器译码器噪声源14信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译

7、码器通信系统模型进一步细分15信息论从诞生到今天，已有五十多年历史，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。16电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。这是因为通信系统

8、对人类社会的发展，其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等，一切都离不