信息论编码田宝玉chapter1

《信息论编码田宝玉chapter1》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码第一章绪论信息论即仙农(ClaudeEdwoodShannon,1916—2001)信息论，也称经典信息论，是研究通信系统极限性能的理论。从信息论产生到现在几十年来，信息论的基本思想和方法已经渗透到许多学科，在进入信息时代的今天，信息理论在自然科学和社会科学研究领域还会发挥更大的作用。第Ⅰ章绪论信息的基本概念仙农信息论所研究的内容仙农信息论产生的背景、主要的研究进展及其应用本章主要内容§1.1信息的基本概念信息论的产生信息的基本概念信息论的基本内容本节内容：物质客观世界三大基本要素能量信息信息时代社会的发展离不开物质

2、(材料)、能量（能源）和信息资源。美国学者欧廷格说：“没有物质什麽都不存在，没有能量什麽都不发生，没有信息什麽都没意义。”1.1.1信息论的产生1948年，美国工程师和数学家仙农(ClaudeEdwoodShannon,1916-2001)发表了《通信的数学理论》（AMatematicalTheoryofCommunication，BSTJ，1948）标志着信息论的产生。通信的基本问题：在一点精确地或近似地恢复另一点所选择的消息。通信系统三项性能指标：传输的有效性传输的可靠性传输的安全性有效性对离散信源，信源符号平均码长度应尽量

3、短；信息传输应尽量快，即高的传信率；信息传送应该有高的频谱利用率。可靠性传输差错要尽量少，对数字传输就是要求低的误码率。安全性传输的信息不能泄露给未授权人。三项指标对应三项基本技术：信息压缩信息纠错信息加密仙农信息论解决了前两项技术的理论问题：提高有效性可通过信源编码来实现，即信源压缩编码，并给出了压缩编码的极限；提高可靠性通过信道编码来实现，并给出实现可靠传输的信息传输速率的极限。所以，仙农揭示了信息压缩和传输的基本定律。实际上传输安全性问题也是仙农解决的。1945年，他写了《密码学的数学理论》（AMathematicalTh

4、eoryofCryptography），1949年改名为《保密系统的通信理论》（CommunicationTheoryofSecrecySystem）公开发表。这篇文章建立了保密系统的数学理论，对密码学产生了很大的影响。所以，仙农建立了通信中的三项基本技术的理论基础,信息论是前两项技术的理论基础。1.1.2信息基本概念信息已成为许多专家学者争相研究的对象，而且他们从不同的角度和侧面研究和定义信息。据说到目前为止已有上百种信息的定义或说法。例如，“信息是事物之间的差异”，“信息是物质与能量在时间与空间分布的不均匀性”，“信息是收信

5、着事先不知道的东西”等等。1949年，Weaver在《通信的数学》中解释仙农的工作时，把通信问题分成三个层次：第一层：通信符号如何精确传输？（技术问题）第二层：传输的符号如何精确携带所需要的含义？（语义问题）第三层：所接收的含义如何以所需要的方式有效地影响行为？（效用问题）Weaver认为仙农的工作属于第一层，但他又证明仙农的工作是交叉的，对第二、三层也有意义。信息是认识主体（人、生物、机器）所感受的和所表达的事物运动的状态和运动状态变化的方式。以此定义为基础，信息分成三个基本层次，即语法信息，语义信息，语用信息，分别反映事物运

6、动状态及其变化方式的外在形式、内在含义和效用价值。与Weaver对信息的解释基本一致。信息的三个基本层次：语法(Syntactic)信息语义(Semantic)信息语用(Pragmatic)信息语法(Syntactic)信息它是事物运动的状态和变化方式的外在形式，不涉及状态的含义和效用。象语言学领域的“词与词的结合方式”，而不考虑词的含义与效用。在语言学中称为语法学。语法信息还可细分为，概率信息、偶发信息、确定信息、模糊信息等。语义(Semantic)信息是事物运动的状态和变化方式的含义。在语言学里，研究“词与词的结合方式含义”

7、的学科称为语义学。语用(Pragmatic)信息是事物运动状态及其状态改变方式效用。信息三个层次含义有一个情报部门，其主要任务是对经济情报进行收集、整理与分析以提供给决策机构。该部门设三个组：信息收集组、信息处理组和信息分析组。信息收集组的任务是将收集到的资料按中文、英文或其他文字、明文、密文进行分类，不管这些资料的含义如何都交到信息处理组。信息处理组根据资料的性质进行翻译或破译得到这些资料的含义，然后交到信息分析组。信息分析组从这些资料中挑选出有价值的情报提交给决策机构。可见，信息收集组是根据所得到的消息提取出语法信息，信息处

8、理组是根据所得到的语法信息提取出语义信息，而信息分析组是根据所得到的语义信息提取出语用信息。即，研究语义信息要以语法信息为基础，研究语用信息要以语义信息和语法信息为基础。三者之间，语法信息是最简单、最基本的层次，语用信息则是最复杂、最实用的层次。仙农在1948年