信息与编码课件

《信息与编码课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息理论与编码第1章绪论许海霞xu_haixia@163.com绪论课程名称：信息理论与编码课程内容：熵和互信息（1.）信源编码（3.5.）信道编码（4.7.8.9.）先修课：概率论、线性代数、通信原理学习要求按时上课、关闭手机随堂消化、记好笔记考核办法课堂表现+最终成绩“通信的基本问题就是在一点准确地或近似地再现从另一点选择出来的消息”。Thefundamentalproblemofcommunicationisthatofreproducingatonepointeitherexactlyorapproximatelyamessageselectedatanotherpoint.这是数学

2、家香农(ClaudeE.Shannon)在他的惊世之著《通信的数学理论》中的一句名言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论.伟大的科学家——香农伟大的科学家——香农香农于1916年4月30日出生于美国密歇根州的Petoskey，并且是爱迪生的远亲戚。1936年毕业于密歇根大学并获得数学和电子工程学士学位，在那里他遇到了离散数学奠基人乔治·布尔，上过他的课程。1940年获得麻省理工学院(MIT)数学博士学位和电子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为麻省理工学院(MIT)客座教授，并于1958年成为终生教授，

3、1978年成为名誉教授。香农博士于2001年2月24日去世，享年84岁。伟大的科学家——香农香农于1940年在普林斯顿高级研究所(TheInstituteforAdvancedStudyatPrinceton)期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6月和10月在《贝尔系统技术杂志》(BellSystemTechnicalJournal)上连载发表了他影响深远的论文《通讯的数学原理》。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统

4、计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。香农的贡献1948年发表“通信的数学理论”，标志着信息论的诞生；1949年发表“噪声下的通信”，为信道编码奠定了理论基础；1949年发表“保密通信的信息理论”，首先用信息论的观点对信息保密问题做了全面论述1959年发表“保真度准则下的离散信源编码定理”，提出信息率失真理论，为信源压缩编码研究奠定理论基础。信息论基础的重要性信息论是信息科学和技术的基本理论，是信息科学大厦的地基；没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情；总之，信息论是高层次信息技术人才必不可少的基础知识。教学目标充分理解、掌

5、握教材的内容熟练掌握基本的信息理论概念和定理熟练掌握通信与信息工程中基本研究对象的数学描述通过学习和习题练习，具备一定的解决问题分析问题的能力掌握一定的科学思想方法（用信息论的思想和观点）信息的一般概念当代文明的三大支柱——信息、材料、能源信息的产生与传播——人类社会在互通情报的实践过程中产生的烽火狼烟花朵色彩照片电话短信卫星云图信息的五次变革1.声音、手势、语言2.文字符号3.印刷术4.电磁波5.计算机与通信完美结合信息科学信息时代感测技术（信息获取）信息技术通信技术（信息传输）计算机技术（信息处理）自动控制技术（信息施效）信息是什么？信息与消息不完全等同主观客观通信中传输的是信号，信号是

6、消息的载体，消息中未知成分是信息。香农理论信源——信宿全过程收、发端联合最优化重点是编码。维纳理论重点在接收端。研究一个信号如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰时，在接收端怎样把它恢复、再现，从干扰中提取出来。（最佳接收）狭义信息论/经典信息论/香农信息论一般信息论研究信息传输和处理问题。除香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论。广义信息论不仅包括一般信息论内容，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学、语义学、社会学、经济管理中有关信息的问题。信息科学的发展概率论回顾随机变量分别取值于集合和当X,Y相互独立时重点通

7、信的基本问题/本质是什么？信息的含义香农信息论研究的核心问题概率论相关知识