信息论与编码基础第1章节绪论

《信息论与编码基础第1章节绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码周三：7~8(13:30~15:10)/A105中山大学计算机科学系蔡国扬E_mail:isscgy@mail.sysu.edu.cn信息科学是研究不同领域里有关信息的收集、加工、存储、传递以及使用的学科。其出发点是认识信息的本质和它的运动规律；其归宿则是利用信息来达到某种具体的目的。以信息作为主要研究对象，以信息的运动规律作为主要研究内容，以信息方法论作为主要研究方法，这是信息科学区别于一切传统科学的最根本的特征。信息方法以信息概念作为分析和处理问题的基础，它完全撇开研究对象的具体结构和运动形态，把系统的有目的性运动抽象

2、为一个信息变换过程，即信息的输入、存储、处理、输出和反馈过程。信息方法包括两个方面，即信息分析方法和信息综合方法。前者解决认识问题；后者解决实践问题。信息科学体系信息科学体系信息输入反馈处理存储输出信息信息方法示意图信息科学是一个包含从不同角度研究信息及其运动形态的学科群，是由信息理论科学、信息技术科学和信息应用科学三个层次构成的完整体系。信息科学体系信息论计算机科学通信科学信息物理学信息学图书馆学传播学信息经济学信息社会学信息心理学信息科学也可以认为，信息科学由信息科学理论、信息应用技术和信息科学方法三者组成。信息科学理论主要包含信

3、息定性理论、信息定量理论和信息应用理论。信息应用技术包括信息的获取、传递、加工处理、存储等代替和延伸人的感官及大脑的信息功能的技术，可以细分为信息获取技术（感测技术）、信息传递技术（电信技术）、信息加工处理技术（计算机技术）及信息控制技术（自动智能控制技术）。信息科学方法包括信息分析方法和信息综合方法，指导人类通过信息窗口去认识世界、改造世界。信息科学体系第1章绪论信息的一般概念香农信息的概念信息论研究的对象和目的信息论研究的内容信息论发展简史与现状课程讨论主要内容第2章离散信源及其信息测度信源的数学模型及分类离散信源的信息测度-信息

4、熵信息熵的基本性质离散无记忆的扩展信源离散平稳信源及其极限熵信源的冗余度课程讨论主要内容第3章离散信道及其信道容量信道的数学模型及分类信道疑义度与平均互信息平均互信息的特性离散无记忆扩展信道离散信道的信道容量信源与信道的匹配课程讨论主要内容第4章波形信源及波形信道波形信源的统计特性和离散化连续信源和波形信源的信息测度连续信源熵的性质及最大差熵定理具有最大差熵的连续信源连续信道和波形信道的分类连续信道和波形信道的信息传输率连续信道和波形信道的信道容量课程讨论主要内容第5章基本的信源和信道编码定理无失真信源编码定理编码器的概念等长码等长信

5、源编码定理变长码变长信源编码定理（香农第一定理）有噪信道编码定理错误概率与编译码规则有噪信道编码定理（香农第二定理）联合信源信道编码定理课程讨论主要内容第6章保真度准则下的信源编码失真的测度信息率失真函数及其性质离散无记忆信源的信息率失真函数保真度准则下的信源编码定理（香农第三定理）联合有失真信源信道编码定理课程讨论主要内容第7章无失真的信源编码无失真信源编码的概念香农编码费诺编码Huffman编码游程编码算术编码通用编码课程讨论主要内容参考书目傅祖芸，信息论与编码，电子工业出版社,2005曹雪虹等，信息论与编码，北邮出版社，2001

6、唐朝京，信息论与编码基础，国防科技大学出版社周荫清，信息理论基础，北京航空航天大学出版社ThomasM.Cover,JoyA.Thomas，ElementsofInformationTheory，清华大学出版社，2003R.J.McEliece,TheTheoryofInformationandCoding,电子工业出版社,2005课程讨论主要内容信息论是将通信技术、概率论、随机过程、数理统计等学科相结合逐步发展而形成的一门新兴科学。奠基人：美国数学家香农(C.E.Shannon)，1948年发表著名论文“AMathematicalT

7、heoryofCommunication”，用概率测度和数理统计的方法系统研究了通信的基本问题，给出了信息的度量方法，得出了带有普遍意义的重要结论，由此奠定了信息论的理论基础，为信息的表达、存储、传送和处理的具体实现提供了理论依据。在香农信息论的指导下，人们在信源编码和信道编码两个领域进行了卓有成效的研究，在提高通信系统信息传输的有效性和可靠性上取得了丰硕成果。第一章绪论“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。ClaudeShannon1916-2001第一章绪论随着信息概念的不断深化和信息理论的发展，信

8、息论所涉及的内容已经超出了狭义的通信工程范畴，渗透到许多学科。本课程主要内容：香农(Shannon)信息论：信息的统计度量，离散信源，离散信道和信道容量；编码理论和实现原理：信源编码与信道编码。第一章绪论信息是信息论中最