信息论的形成和发展

《信息论的形成和发展》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码InformationTheory&Coding主讲张丽英长春大学电子信息工程学院2009年3月3日总学时：48理论课：40习题测试：8周学时：68周课教材：《信息论与编码》主编曹雪虹参考书：1、《信息论与编码》作者：付祖云编著电子工业出版社2、《信息论与编码》作者：陈运周亮陈新电子工业出版社3、《应用信息论基础》作者：朱雪龙编著清华大学出版社4、《信息论理论基础》作者：贾世楼编著哈尔滨工业大学出版社本课主要介绍信息的基本概念，信息论研究的对象、目的和内容，信息论发展简史及现状。介绍了信息论三

2、个基本概念，信源熵、信道容量和信息论失真函数，以及相关的编码定理，信源编码、信道编码、安全编码。目录第一章绪论第二章信源和信息熵第三章无失真信源编码第四章限失真信源编码第五章信道编码第六章密码学第一章绪论§1.1信息论的形成和发展一、什么是信息C.E.Shannon：信息就是一种消息N.Wiener：信息是人与外界相互作用的过程中所交换的内容的名称钟义信：信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式知识。20世纪通信技术的发展推动了信息理论的研究.美国科学家H.Nyquist于19

3、24年解释了信号带宽和信息速率之间的关系.美国科学家L.V.R.Hartley于1928年开始研究通信系统传输信息的能力，给出了信息的度量方法.美国科学家C.E.Shannon于1948年发表的著名论文《通信的数学理论》AMathematicalTheoryofCommunication奠定了信息论的理论基础.二、信息论的形成和发展C.E.Shannon针对人类的通信活动提出以下论点：（1）形式化假说：通信的基本问题是消息的接收端精确地或近似地复制发送端所挑选的消息。通常消息是有意义的，但通信的语义方面的

4、问题与工程问题是无关的。（2）非决定论：实际的消息总是可能发生的消息集合中挑选出来的，因此通信系统必须设计得对每一种选择都能工作，因为各种消息的选择是随机的，设计者事先无法知道什么时候会选择什么消息来传送。（3）不确定性：两种情况下有通信的需要，一是自己有某种的消息要告知对方，而估计对方“不知道”该消息；二是自己有某种“疑问”要询问对方，估计对方能作出一定的解答。1)狭义信息论：主要研究信息的测度、信道容量（信道的传输能力）、信源及信道的编码问题。这部分理论是Shannon信息论，也称基础信息论。2)一般

5、信息论：也称为通信理论，主要研究信息传输的基本理论和通信的基本问题。3)广义信息论：除上述两方面的内容外，还包括所有与信息论有关的其它领域，如生物、遗传工程、经济、社会等领域。三、信息科学的研究范畴有三个层次1)通信的统计理论：信息的度量：确定信息的测度。信源熵和信息速率：研究信源特性及其统计平均信息量,信源的信息速率。信道容量：研究信道传输能力四、信息工程的研究范畴两个方面：信息理论和信息技术1、信息理论2)各种信源的统计特性文字的统计特性：文字的冗余度及可压缩性;语言的统计特性：语音的统计特性及可压缩

6、性;图象的统计特性：图象的处理,图象的压缩格式;二元信源的统计特性：二元信息的压缩算法。有效性编码：压缩信源的冗余,从而提高信息的传输效率,主要是针对信源的统计性进行编码,故也称为信源编码。2、编码理论与技术抗干扰编码：一般增加信源的冗余,有以提高信息传输的可靠性,主要是针对信道的统计性进行编码,故也称为信道编码;安全性编码：将信源的明文编码成密文，提高通信的安全性。另:3、信息的传输效率和利用率，扩频、频带压缩、码分复用、宽带高速信道；4、抗干扰理论及相关技术调幅、调频；5、噪声中信号检测理论及技术；6

7、、生物感官特性，听觉特性，视觉特性脑思维特性的研究；7、与其它学科有关的，研究生物医学的关系、光学的关系等。五、信息、消息、信号、数据及其区别1）信息：（香农）信息是事物运动状态或存在方式的不确定性的描述。2）消息：用文字、符号、数据、语言、音符、图片、图象等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。消息是信息的载体。但不是物理的。3）信号：把消息换成适合信道传输的物理量（如：电信号，光信号，声信号，生物信号等）。这种物理量称为信号。是消息的载体。4）数据：载有

8、信息的可观测、可传输、可存储、可处理的信号。六、信息的特征1、它的内容是不知道的；2、信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；3、信息可以产生，也可以消失；同时信息也可以被携带，储存及处理；4、信息可以度量。按信息的性质分类：语法信息，语义信息和语用信息;七、信息的分类按观察过程分类：实在信息，先验信息和实得信息按信息的地位分类：客观信息（效果信息、环境信息）和主观信息（决策信息，指令、控制和目标信息）按