信息论与编码-第1章

《信息论与编码-第1章》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、信息论与编码InformationTheoryandCoding哈尔滨理工大学电子信息工程专业杨广学2010年7月课程简介培养方案：与电路、电子技术、信号与系统、数字信号处理、通信原理与系统以及单片机原理及应用等课程同属于必修的学科基础课本课程特点：本身理论性很强；涉及线性代数、概率论与随机过程、抽象代数（近世代数）等数学理论学习方法：课堂-多媒体教学，课后-多看书、写阅读笔记、多做练习考核的方式及成绩的评定：平时成绩30%（作业30%、实验成绩30%、上课出勤40%）、期末成绩70%教材：曹雪虹张宗橙编《信息论与编码（第2版）》，清华大学出版社，2009年版教学参考书1、

2、唐朝京、雷菁编著《信息论与编码基础》电子工业出版社2010年版2、余成波主编《信息论与编码》重庆大学出版社2002年版3、RanjanBose“InformationTheory,CodingandCryptography”机械工业出版社2003年影印版第1章绪论1.1信息论的形成与发展1.2通信系统的模型有关“信息”的一些基本概念（1）信息时代（InformationAge）——德国社会学家R.布吉顿斯坦对信息时代的定义是：“人们花费在个人交往和信息交流的时间大大超出了消耗在工业产品生产上的时间”信息技术（InformationTechnology，IT）——凡是能够用来扩

3、展人的信息功能的技术都是信息技术；有关数据与信息的应用技术。其内容包括：数据与信息的采集、表示、处理、安全、传输、交换、显现、管理、组织、存储、检索等有关“信息”的一些基本概念（2）信息科学（InformationScience）——对获取信息并对其进行传输、交换、处理、检测、识别、存储、显示等操作的科学研究信息论（理论）（InformationTheory）——是应用近代概率统计方法来研究信息传输、交换、存储和处理的一门学科。是源于通信实践发展起来的一门应用学科有关“信息”的一些基本概念（3）信息（INFORMATION)——信息一词来源于人们的通信实践活动，在日常生活中，

4、信息是指“消息”、“情况”、“知识”、“情报”等等信息是一个十分抽象而又复杂的概念。至今为止，尚无一个能被普遍认可的定义。因为“信息”是一个非常高层次的概念目前比较被人们认同的定义：认识主体（人，生物和机器）所感知的或所描述的相应事务的运动状态及其变化方式有关“信息”的一些基本概念（4）1928年，美国数学家Hartley在BSTJ上发表论文“信息传输”，文中把信息理解为选择通信符号的方式，并用选择的自由度来计量信息的大小1948年，美国数学家Shanoon在BSTJ上发表论文“AMathematicalTheoryofCommunication”，深刻阐述了通信工程中一系列

5、基本理论问题，但没有给出信息的确切定义1950年，美国数学家、控制论的主要奠基人Winner在出版的《控制论与社会》中认为：信息是人与外界相互作用的过程中所的内容的名称。这一定义未得到人们的认可。后来Winner自己认识到：“信息既不是物质又不是能量，信息就是信息”有关“信息”的一些基本概念（5）信息的特征信息来源于物质，但又不是物质本身，它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在信息来源于精神世界，但又不限于精神领域信息与能量息息相关，但又与能量有本质的区别信息具有知识的本质，但比知识的内涵更广泛信息是具体的，并且可以被信息主体所感知、提取、识别，可以被传递

6、、存储、变换、处理、显示、检索和利用信息可以被众多主体所共享信息可以产生，也可以消失信息是可以度量的，信息量有多少的差别1.1信息论的形成与发展信息论的发展过程1924年，H.Nyquist，信息率与带宽联系1928年，R.V.Hartley,引入非统计信息量1936年，E.H.Armstrong，带宽与抗干扰能力1936年，H.Dudley,发明声码机40年代初，N.Wiener,“控制论”1948年，“信息论”发展史的里程碑C.E.Shannon,“AMathematicalTheoryofcommunication”,BellSystemTech.,J,vol.27,P

7、P379-423,July194850年代开始，IRE成立信息论组，出版信息论汇刊1.1信息论的形成与发展信息论的形成与发展1952年，Fano和Huffman分别离散信源最佳编码方法1959年，Shannon,信源压缩编码理论，“Codingtheoremforadiscretesourcewithafidelitycriterion”(保真度准则下的离散信源编码定理)1961年，Shannon,“双路通信信道”，多用户理论1972年，Cover,开始对广播信道进行研究1.1信息论的形成和发展三大定理