信息与信息的度量

《信息与信息的度量》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、西安交通大学电信学院张建国《信息论与编码》--信息与信息的度量XI’ANJIAOTONG主要内容与基本要求XI’ANJIAOTONGUNIVERSITYUNIVERSITY¾主要内容信息论与编码ò信息的定义、特点；ò信息的度量：信息量与信息熵。¾基本要求ò了解信息论的产生及发展；第1章信息与信息的度量ò理解信息的概念和含义；ò掌握信息的度量方法——信息量，信息熵。张建国2012-3-6《信息论与编码》－－信息与信息的度量2本章目录XI’ANJIAOTONG1.1引言XI’ANJIAOTONGUNIVER

2、SITYUNIVERSITY1.1引言1.1.1信息论与信息1.1.1信息论与信息简介人类社会的生存和发展，无时无刻都离不开对信息的获取、传递、1.1.2通信系统模型处理、控制和利用。1.2信息的度量信息论是一门应用概率论、随机过程和数理统计等方法来研究信息的存储、传输和处理中一般规律的学科。它主要研究如何提高信息系统1.2.1信息量的可靠性、有效性、保密性和认证性，以使信息系统最优化。从通信的1.2.2信息熵角度研究信息。1.3本章小结信息论是研究信息的科学和理论，它定量地描述信息的统计特性。信息是信

3、息论中最基本、最重要的概念，它是一个既抽象又复杂的概念。从信息的近亲词“消息”出发来讨论信息。2012-3-6《信息论与编码》－－信息与信息的度量32012-3-6《信息论与编码》－－信息与信息的度量41.1引言XI’ANJIAOTONG1.1引言XI’ANJIAOTONGUNIVERSITYUNIVERSITY信息是对认识在传输过程中的特性的度量。实际需要传输的，只是为使接收者达到确知水平所需的那部分知识认识（或认知）是人脑对客观事物的反映，它通过消息的形式进行差额。如何对这种差额进行度量，对它进行高

4、效、可靠地传递是香农信传递。或者换句话说，消息是认知在传递过程中的表现形式，是传递中息论中重点要研究的。而信息正是对这一差额的定量描述。的知识。常见的三种形式：声音、文字、图像。信息是对在传消息中接收者尚未了解的（不知道的、不掌握的）那消息传递的特点：部分知识的度量。信息是对传输过程前后接收者知识变化的度量。¢消息知识量——固定；信息是差的概念，无法定义绝对值。¢目的——使接收者对消息完全知晓；信息的特点：¢传递信息量——随接收者而异。消息与信息的区别：信息不能等于消息。消息中包含信息，是信息¢与接收者

5、对这一消息的先验知识水平有关；的载体。同一则信息可用不同的消息形式来载荷。消息的知识量是固定¢与接收者对这一消息的主观感受无关；的，但消息中所含的信息量与接收者有关。¢与消息的具体含义和重要性无关。2012-3-6《信息论与编码》－－信息与信息的度量52012-3-6《信息论与编码》－－信息与信息的度量61-1西安交通大学电信学院张建国《信息论与编码》--信息与信息的度量1.1引言XI’ANJIAOTONG1.1引言XI’ANJIAOTONGUNIVERSITYUNIVERSITY1.1.2通信系统模型

6、信源编码通信中常见传输模型消息传递过程目的是用二进制（或多进制）数字序列表示信源输出，所关注的主要问题之一是对给定信源模型的输出，确定在单位时间需要用多少二进制位表示。高效地提取信息。产生消息提取信息传输信息恢复信息吸收消息常见的信源编码¢文字ASCII，GB2312,GBK消息源信源编码信道编码信道信道解码信源解码信宿¢声音PCM编码，MP3（MPEG-1AudioLayer3）¢图像BMP,JPG,AVI(DivX,XviD,H.264),RMVB信息论研究内容信道编码信道编解码器的目的是在信道解码

7、器的输出端可靠地重现二进制数字思想写信装信封邮递拆信封读信行动序列，关注的主要问题之一是能否以及如何实现这一点。可靠地传输。2012-3-6《信息论与编码》－－信息与信息的度量72012-3-6《信息论与编码》－－信息与信息的度量81.1引言XI’ANJIAOTONG1.2信息的度量XI’ANJIAOTONGUNIVERSITYUNIVERSITY¾将编解码分为信源编解码和信道编解码1.2.1信息量的定义ò这是否对通信系统施加了基本限制？信息只有在传输过程中才有意义。（狭义信息论）ò从实用观点：非常方便

8、，利于不同信源使用相同信道或相同的信源通信过程是一种消除（收方）不确定性的过程。信息量与不确定性使用不同的信道。消除的程度有关，消除了多少不确定性，就获得了多少信息量。信息同接收者的先验知识有关。同样的消息，可能对应着不同的信息量。如何¾信息论与编码的关系来衡量这种不确定性呢？信息论为编码提供了理论基础，编码是信息论的应用概率表示了某一事物出现的几率或可能性，它反映了人们对某事件¾编码历史上的几次大突破的认识水平。因此可以用概率度量这种不确