信息论与编码绪论

《信息论与编码绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的科学；它的主要目的是提高信息系统的有效性和可靠性，最优化；其主要内容（或分支）包括：香农理论、编码理论、维纳理论、检测和估计理论、信号设计与估计理论、调制理论和随机噪声理论。信息论与编码目的：了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础。课程概况以信息理论为中心，区别与“信源编码”、“信道编码”以概念和物理意义为主，数学推导尽量放到课外结合通信系统实际应用特点：课程内容信息论的

2、基本问题—信息的度量无失真信源编码定理—香农第一定理信道编码定理—香农第二定理限失真信源编码定理—香农第三定理信源编码信道编码教学目标充分理解、熟练掌握教材的内容熟练掌握基本的信息理论概念和定理熟练掌握通信与信息工程中基本研究对象的数学描述通过学习和习题练习，具备一定的解决问题分析问题的能力掌握一定的科学思想方法(用信息论的思想和观点)和怎样描述学信息论意义信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后继课程、将来进一步从事通信和信息领域的科研和创新。要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人

3、格基础，为将来的进一步学习和科研奠定坚实的基础。有关事项讲课:（概念、方法、实际应用）自学:（数学推导、定理证明）考试：基本概念、基本计算、实际应用平时成绩：上课情况+作业成绩：考试成绩+平时成绩+实践成绩参考书1．信息论—基础理论与应用，傅祖芸编，电子工业出版社，20012．信息论与编码，陈运编著，电子工业出版社，20023.信息理论与编码，吕锋等编著，人民邮电出版社，2004第一章绪论1.1信息1.2通信系统1.3信息论的形成和发展1.1信息信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信

4、息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学。信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。信息技术主要研究如何实现、怎样实现的问题。概率信息1948年，美国一位数学家克劳特·香农(C.E．Shannon)发表了一篇著名的论文《通信的数学理论》。差不多与此同时，美国另一位数

5、学家诺伯特·维纳也发表了题为《时间序列的内插、外推和平滑化》的论文以及题为《控制论》的专著。在这些著作中，他们分别解决了按“通信的消息”来理解的信息(狭义信息)的度量问题，并得到了相同的结果。香农的论文还给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，这就是香农信息论，也叫狭义信息论(简称“信息论”)。对通信过程作进一步分析就可发现，人们要进行通信，不外有两种情形：一是自己有某种形式的信息要告诉对方，同时估计对方既会对这种信息感到兴趣，而又尚不知道这个信息。也就是说，对方在关于这个信息的知识上存在着不确定性；另一种情况

6、是，自己有某种疑问要向对方询问，而且估计对方能够解答自己的疑问。接收者收到某一消息后所获得的信息，可以用接收者在通信前后“不确定性”的消除量来度量。简而言之，接收者所得到的信息量，在数量上等于通信前后“不确定性”的消除量(或减少量)。不确定性是与“多种结果的可能性”相联系的，而在数学上，这些“可能性”正是以概率来度量的。概率大，即“可能性”大；概率小，“可能性”小。显然，“可能性”大，即意味“不确定性”小；“可能性”小，即意味“不确定性”大。由此可见，“不确定性”与概率的大小存在着一定的联系，“不确定性”应该是概率的某一函数；那么，“不确

7、定性”的消除量(减少量)，也就是狭义信息量，也一定可由概率的某一函数表示。狭义信息论：在信息可以度量的基础上，对如何有效、可靠地传递信息进行研究。涉及信息度量、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。又称为香农信息论。广义信息论：包含通信的全部统计特性问题的研究，除了香农信息论之外，还包括信号设计、噪声理论、信号的检测与估值等。本书讲述的信息理论的内容为狭义信息论信息的基本概念在于它的不确定性。其特征如下：接收者在收到信息之前，对其内容是未知的是新知识，新内容；信息是能使认识主体对某一事物的未知性和不确定性减

8、少的有用知识；信息可以产生，也可以消失，同时它可以被携带、被存储及处理；信息是可以度量的，信息量有多少的差别例：气象预报甲乙“甲地晴”比“乙地晴”的不确定性来的小某一事物状态出现的概率越小，其