信息论基础-理论教学大纲P5

《信息论基础-理论教学大纲P5》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、《信息论基础》课程教学大纲课程编号：（0531305）课程名称：信息论基础参考学时：48其中实验或上机学时：0先修课及后续课：先修课：概率论、信号与系统后续课：通信原理、数字图像处理、语音信号处理说明部分1．课程性质本课程是电子信息类专业的技术基础课2．课程教学的目的及意义人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论基础》课程为电子信息工程学科的基

2、础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作

3、进一步研究打下坚实的理论基础。3．教学内容及教学要求教学内容：该课程是电子信息工程、信息安全工程专业的专业基础课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；

4、离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。教学基本要求：了解通信系统各部分的主要组成以及作用、香农的三大编码定理；掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。4.教学重点、难点教学重点：5信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：典型序列以及由此推导出的香农三大编码定理即逆定理。5.教学方法及教学手段课堂讲学为主，习题讲解为辅。6.教学

5、学材及主要参考书1.傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2011年2.姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2001年3.曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年二、正文部分第一章：绪论一、教学要求了解信息论研究对象、目的、发展简史与现状；了解通信系统的模型以及通信系统各部分的主要组成以及作用二、教学内容第一节信息的概念知识要点：信息的概念及自信息第二节信息论研究的对象、目的和内容知识要点：信息论研究的对象、目的和内容第三节：信息论发展简史知识

6、要点：信息论发展简史三、本章学时数2学时第二章：离散信源及其测度一、教学要求了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。二、教学内容第一节信源的数学模型及分类知识要点：信源的数学模型，离散无记忆信源及其扩展信源。第二节信息熵及其基本性质知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。第三节离散平稳信源知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。5第四节马尔可夫信源

7、知识要点：马尔可夫信源定义，马尔可夫信源熵第五节信息剩余度知识要点：信息剩余度以及自然语言熵三、本章学时数10学时第三章：离散信道及其信道容量一、教学要求了解一般信道容量计算。掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。二、教学内容第一节信道数学模型及分类知识要点：信道数学模型及不同的分类，信道矩阵。第二节平均互信息及特点知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。第三节信道容量及一般计算方法知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。第

8、四节离散无记忆扩展信道及其容量知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。三、本章学时数8学时第四章：无失真信源编码一、教学要求了解其它一些无失真信源编码方法。理解渐近等分割性及典型序列，算术编码方法及具体实现方案；掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。二、教学内容第一节等长码及等长信源编码定理知识要点：编码器的概念，码的定义，