信息论与编码_第一章绪论

《信息论与编码_第一章绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码InformationTheoryandCodingTechniques主讲：陈金兰课程介绍课程类别：学科方向课开课对象/学期电子信息工程专业本科生/第5学期学分/学时：3/54考核：平时成绩30％（作业、考勤）期末考试70％（闭卷）课程介绍教材：曹雪虹、张宗橙编著，《信息论与编码》（第二版），清华大学出版社参考书：1.陈运、周亮等，《信息论与编码》，电子工业出版社2.傅祖芸，《信息论—基础理论与应用》，电子工业出版社3.方军、俞槐栓，《信息论与编码》，电子工业出版社4.吴伯修、祝宗泰、钱霖君，《信息论与编码》，东南大学出版社5

2、.姜丹，《信息论与编码》，中国科学技术大学出版社课程性质随着科学技术的不断发展，信息的概念逐渐深化，其应用领域也不断扩展，并与现代通信、计算机科学、现代管理、系统工程等学科紧密结合，广泛地应用于我们的日常生活中。本课程旨在通过对通信系统中信息理论的介绍，使大家更深入地了解信息的概念和本质，并掌握一些基本的信息理论知识和常用的编解码的方法。目录第1章绪论第2章信源及信息熵第3章信道与信道容量第4章信息率失真函数第5章信源编码第6章信道编码第7章*加密编码课程基本内容一.信息论信息论的发展以及通信系统的模型离散信源熵，互信息以及冗余度二.信源编码

3、定长编码，变长编码以及最佳编码离散信源的信息率失真函数R(D)限失真信源编码定理以及常用信源编码方法三.信道编码信道模型和容量线性分组码卷积码课程内容本课程包括信息论基础和编码两大部分。首先立足于概率论和随机过程的知识，通过各种随机变量的概率空间，给出了信息的统计模型，介绍了信息的统计度量。以香农信息论为基础，香农三大定理及香农公式为重点，从“单符号离散系统—多符号离散系统”介绍了离散信源和信道的信息理论，然后，推广到连续系统。重点讲授信息的概念，信息的度量和计算等一些基本问题。还学习几种常用的信源编码方法和纠错编码方法。课程位置基础课程概率

4、论数理统计后续课程：通信原理数字通信数字图像处理课程目标掌握基本的信息论概念，而且要求能够和日常生活和学习结合起来，做到活学活用。掌握信息论基本理论和理想通信系统基本理论，能够熟练解题，掌握建立数学模型和分析数学模型的方法，掌握信源编码的原理和方法，要求能够基本上实现应用。掌握信道编码的基本方法，并能够从信息论的角度加以理解。学习方法本课程只有理论介绍，显得枯燥、繁杂，不易理解，且“概率与数理统计”知识要求较高，学起来有一定难度。但只要理顺课程思路，尽快进入角色，并加以举一反三的理解，相信大家能学好该课程，切忌望而生畏。为便于理解与掌握，适当

5、的练习必不可少，对布置的作业最好按时独立地完成。第一章绪论本章节教学内容、基本要求、重点与难点1.教学内容：信息的一般概念。信息的分类。信息论的起源、发展及研究内容。通信系统的模型2.教学基本要求：了解信息的概念、度量。了解学习信息论的重要性、意义。掌握通信系统中信息传输的模型。3.重点与难点：信息度量的概念。通信系统中的信息传输模型。相结合逐步发展而形成的一门新兴科学本章内容：信息的概念数字通信系统模型信息论与编码理论研究的主要内容及意义奠基人：美国数学家香农（C.E.Shannon）1948年“通信的数学理论”信息论通信技术概率论随机过程

6、数理统计1.1信息论发展简史我国古代“烽火告警”是一种最早的快速、远距离传递信息的方式；造纸术和印刷术的发明，使信息的表示和存储方式产生了一次重大的变化；电报、电话、电视的发明，再次引导了信息加工和传输的革命；贝尔麦克斯韦20世纪后半叶，计算机技术、微电子技术、传感技术、激光技术、卫星通信技术、移动通信技术、航空航天技术、广播电视技术、多媒体技术、网络技术、新能源和新材料等新技术的应用，将人类社会推入到高度信息化的时代。信息是否重要？一位美国科学家在诗中这样描述：没有物质的世界是虚无的世界，没有能源的世界是死寂的世界，没有信息的世界是混乱的世

7、界。可见信息的重要性。信息论研究的对象和目的研究对象：信息论是一门应用概率论、随机过程、数理统计和代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。1.1信息的概念信息是信息论中最基本、最重要的概念，既抽象又复杂信息在日常生活中被认为是“消息”、“知识”、“情报”等“信息”不同于消息（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质；“信息”不同于情报，情报的含义比“信息”窄的多，一般只限于特殊的领域

8、，是一类特殊的信息；信息不同于信号，信号是承载消息的物理量；信息不同于知识，知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一