信息论讲义-绪论new

《信息论讲义-绪论new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一章绪论第一章绪论主要内容：（1）信息论的形成和发展；（2）信息论研究的分类和信息的基本概念；（3）一般通信系统模型；（4）目前信息论的主要研究成果。重点：信息的基本概念。难点：消息、信号、信息的区别和联系。说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。课时分配：2个课时。板书及讲解要点：“信息”这个词相信大家不陌生，几乎每时每划都会接触到。不仅在通信、电子行业，其他各个行业也都十分重视信息，所谓进入了“信息时代”。信

2、息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。它研究信息的基本理论(Informationtheory)，主要研究可能性和存在性问题，为具体实现提供理论依据。与之对应的是信息技术(InformationTechnology)，主要研究如何实现、怎样实现的问题。它不仅是现代信息科学大厦的一块重要基石，而且还广泛地渗透到生物学、医学、管理学、经济学等其他各个领域，对社会科学和自然科学的发展都有着深远的影响。1．1信息论的形成和发展信息论理论基础的建立，一般来

3、说开始于香农(C.E．shannon)研究通信系统时所发表的论文。随着研究的保深入与发展，信息论具有了较为宽广的内容。信息在早些时期的定义是由奈奎斯持(Nyquist，H．)和哈特莱(Hartley，L.V.R．)在20世纪20年代提出来的。1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法；1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强。这些工作都给香农很大的影响，他在1941—1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，

4、并对信息给以科学的定量描述，提出了信息嫡的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。这一成果于1948年以《通信的数学理论》(Amathematicaltheoryofcommunication)为11第一章绪论题公开发表。这是一篇关于现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。香农因此成为信息论的奠基人。50年代信息论在学术界引起了巨大的反响。1951年美国IRE成立了信息论组，并于1955年正式出版了信息论汇刊。60年代信道编码技术有较大进展，使它成为信息论的又一重要分支。它把代数方法引入到纠错码的研

5、究，使分组码技术发展到了高峰，找到了大量可纠正多个错误的码，而且提出了可实现的译码方法。其次是卷积码和概率译码有了重大突破；提出了序列译码和Viterbi译码方法。信源编码的研究落后于信道编码。香农1959年的文章(Codingtheoremsforadiscretesourcewithafidelitycriterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础。到70年代，有关信息论的研究，从点与点问的单用户通信推广到多用户系统的研究。1972年盖弗(Cover)发表了有关广播信道的研究．以后陆续有关十多接入信道和广播信道模型的研究

6、，但由于这些问题比较难，到目前为止、多用户信息论研究得不多，还有许多尚待解决的问题。1．2信息论研究的分类和基本概念任何一门科学都有它自己的基本概念，理解和掌握这些基本概念是学习这门科学的基础。传统科学的基本概念是物质和能量，而信息论的最基本和最重要的概念就是信息。信息既是信息论的出发点，也是它的归宿。具体地说，信息论的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。什么是信息？当今社会，“信息”一词，在各种场合都被广泛采用，但如同数学中的“集合”一词一样，要给它下一个严格的定义却异常之难。即使是信息论的奠基人香农在其著名论文“通信的数学理论”中

7、，也没有给信息下一个明确的定义。香农论文发表之后，由于其方法新颖，引来许多专家学者对信息进行深入研究，研究中碰到的首要问题就是要给“信息”一词下一个明确的定义。很多学者都给“信息”下过定义，流行的说法不下百种，而且对此还展开了一些重要的哲学争论，到现在为止还没有一个定论。各种说法要么出发点不同，要么所站角度不一样，有些甚至带有较明显的学科倾向，但都在一定层面上对信息概念做了描述。信息：一个既复杂又抽象的概念。广义：消息、情报、知识把信息的形式、内容等全部包含在内技术术语：计算机处理(通信传输