西北师范大学信息与计算科学专业

《西北师范大学信息与计算科学专业》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、西北师范大学信息与计算科学专业专业选修课程教学大纲信息论基础一、说明（一）课程性质本课程是数学与统计学院信息与计算科学系专业的任选课，信息科学是一门涉及面极广的边缘学科，其任务是研究信息的性质、获取、传输、检测、存储、处理、控制的基本原理和方法，它的理论基础是从概率论和通信科学发展起来的。它的应用性很强，从它的产生背景、发展与应用内容来看，都可以看到它与电子、通信、计算机技术的发展密切相关，并得到一系列的重要应用，尤其是与近代网络通信、数据加密与安全、多媒体技术密不可分，在本课程中，应回顾它的产生过程、发展历史、理论与应用，并力求有突出它的基础理论性与

2、应用的结合。信息论又是一门十分严谨的理论学科，从它的概念定义到问题模型，再到定理与它的证明都是用严格的数学语言与逻辑推导完成，因此又可把它看成是一门数学学科分支。有如此严格的数学理论又有如此巨大的应用背景与成就是本学科的一个重要特点。（二）教学目的通过本课程的学习是学生掌握信息论的基本概念、方法和相关的理论及其应用。（三）教学内容本课程的主要内容有信息的度量问题、通信系统与编码问题、信源与信道编码问题等。具体介绍信息与编码的基本模型和概念，以及一些典型的应用问题，介绍信息的度量与性质，信源与信道的编码问题和编码定理。（四）教学时数50学时（五）教学方式

3、课堂讲授二、本文第一章概论教学要点：本章介绍信息论的基本情况，包括信息论与编码理论的产生、发展、理论的形成过程、重要的应用领域与问题，介绍信息度量的基本要求与通信系统的基本模型，通过这些介绍和学习使同学们对信息论的基本理论有一个总体的了解。教学时数：5学时具体内容：第一节信息论的发展概况（1学时）第二节信息论的主要技术及应用（1学时）第三节信息的度量问题（1学时）第四节通信系统及其模型（2学时）考核要求：通过考核使同学们了解消息与信息、输入与输出信号的区别；掌握通信系统模型、信源模型、信道模型、了解信息论的发展和应用。第二章信息量教学要点：信息的度量概

4、念及度量方式、香农熵的概念及性质。教学时数：15学时具体内容：第一节熵（2学时）第二节联合熵与条件熵（2学时）第三节熵的基本性质（2学时）第一节互熵与互信息（2学时）第二节凸函数及其应用（2学时）第三节连续型随机变量的信息量（3学时）第四节最大熵原理（2学时）考核要求：通过考核使同学们掌握熵、联合熵、条件熵、互熵与互信息的概念和基本性质，掌握凸函数的性质及其在信息论的应用，了解最大熵问题和结论。第三章信源编码教学要点：本章主要讲授信源编码问题，主要的概念有前缀码、即时码、定长码、变长码等。教学时数：14学时具体内容：第一节信源编码问题（2学时）第二节前

5、缀码与即时码（2学时）第三节信源变长码的编码定理（2学时）第四节霍夫曼（Huffman）信源编码算法（3学时）第五节霍夫曼（Huffman）信源编码性能分析（3学时）第六节信源定长码的编码定理（2学时）考核要求：掌握主要的概念包括前缀码、即时码、定长码、变长码等及其性质，掌握Kraft不等式及其应用，掌握信源变长码的编码问题，了解信源序列的定长编码问题，掌握霍夫曼（Huffman）信源编码算法，并了解它的性能分析，掌握惟一可译编码的构造方法。第四章信道编码定理教学要点：讲授信道编码问题，通信系统的编码误差，典型的无记忆通信信道，无记忆通信信道的容量及信

6、道容量的计算及信道的编码与译码问题。教学时数：16学时具体内容：第一节信道编码问题（2学时）第二节离散无记忆信道（2学时）第三节无记忆信道的信道容量（2学时）第四节信道容量的计算（4学时）第五节信道的编码与译码问题（2学时）第六节信道的正、反编码定理（2学时）第七节可加高斯（Gaussian）信道（2学时）考核要求：通过考核使同学掌握信道的编码问题，掌握典型的离散无记忆信道及其性质，掌握典型信道的容量计算，了解信道的编码与译码问题，了解信道的正、反编码定理，了解可加高斯信道及其结论。三、参考书目1、沈世镒，陈鲁生，《信息论与编码理论》，科学出版社，北京

7、，20022、常迥，《信息理论基础》，清华大学出版社，北京，20013、朱雪龙，《应用信息论基础》，清华大学出版社，北京，20014、孟庆生，《信息论》，西安交通大学出版社，西安，1986