《信息论绪论》PPT课件

《《信息论绪论》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章绪论第1章绪论1.1信息定义、特征与性质1.2信息的分类1.3信息论的形成和发展1.4信息论研究对象及内容1.5本书的主要内容1.1信息定义、特征与性质1.1.1信息定义1.1.2信息的特征1.1.3信息的性质1.1.1信息定义信息一词来源于人们的通信实践活动，在日常生活中，信息是指“消息”、“情况”、“知识”、“情报”等等。信息是一个十分抽象而又复杂的概念，是人们对客观事物感触到的新知识；消息是信息的载荷者，是描述信息的一种表现形式；同一种信息可以用不同的消息来载荷，即对某个事物的描述和反映，是表示事物内涵的一种形式。1.1.2信息的特征信息来源于物质，但又不是物质本身

2、，它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在。信息来源于精神世界，但又不限于精神领域。信息与能量息息相关，但又与能量有本质的区别。信息具有知识的本质，但比知识的内涵更广泛。信息是具体的，并且可以被信息主体所感知、提取、识别，可以被传递、存储、变换、处理、显示、检索和利用。信息可以被众多主体所共享。信息可以产生，也可以消失。信息是可以度量的，信息量有多少的差别。1.1.3信息的性质普遍性。无限性。相对性。变换性。转换性。有序性。动态性。共享性。可度量性。1.2信息的分类信息按照性质划分，可以分为：语法信息、语义信息、语用信息三类。按观察的过程分类，可以有：实在信息

3、、先验信息、实得信息。按信息的地位分类，可以有：客观信息(包括观察对象的初始信息，经过观察者干预之后的效果信息、环境信息等)、主观信息(包括决策信息、指令信息、控制信息、目标信息等)。按信息的作用分类，可以有：有用信息、无用信息、干扰信息。按信息的逻辑意义分类，可以有：真实信息、虚假信息、不定信息。按信息的传递方向分类，可以有：前馈信息、反馈信息。1.2信息的分类按信息的生成领域分类，可以有：宇宙信息、自然信息、社会信息、思维信息等。按信息的应用部门分类，可以有：工业信息、农业信息、军事信息、政治信息、科技信息、文化信息、经济信息、市场信息、管理信息等。按信息源的性质分类，可以

4、有：语声信息、图像信息、文字信息、数据信息、计算信息等。按信息的载体性质分类，可以有：电子信息、光学信息、生物信息等。按携带信息的信号的形式分类，还可以有：连续信息、离散信息、半连续信息(混合信息)等。1.3信息论的形成和发展信息论理论基础的建立，一般来说开始于香农(C.EShannon)研究通信系统时所发表的论文。随着研究的深入与发展，信息论具有了较为宽广的内容。信息在早些时期的定义是由奈奎斯特(Nyquist，H.)和哈特莱(Hartley，L.V.R.)在20世纪20年代提出来的。1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传输

5、信息的能力，给出了信息度量方法；1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强。这些工作都给香农很大的影响，他在1941至1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念，指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。1.3信息论的形成和发展50年代信息论在学术界引起了巨大的反响。1951年美国IRE成立了信息论组，并于1955年正式出版了信息论汇刊。60年代信道编码技术有较大进展，使它成为信息论的又一重要分

6、支。它把代数方法引入到纠错码的研究，使分组码技术发展到了高峰，找到了大量可纠正多个错误的码，而且提出了可实现的译码方法。其次是卷积码和概率译码有了重大突破；提出了序列译码和Viterbi译码方法。信源编码的研究落后于信道编码。香农1959年的文章(Codingtheoremsforadiscretesourcewithafidelitycriterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础。1.3信息论的形成和发展到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗(Cover)发表了有关广播

7、信道的研究，以后陆续有关于多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止，多用户信息论研究得不多，还有许多尚待解决的课题。由于信息理论的创建与发展是以通信实践与理论为基础的。香农将各种通信系统概括成如图1.1所示的框图，并且针对人类通信活动的特点，香农精辟地提出了“形式化假说”、“非决定论”、“不确定性”等三个论点，以新颖的思想和方法，打破了这个僵局，跨出了用数学方法定量描述信息的关键一步，开创了通信领域信息理论新局面。1.3信息论的形成和发展图1.1通信系统框图1.3信息