信息的概念是什么信息是指各个事物运动的状态及状态变化.ppt

《信息的概念是什么信息是指各个事物运动的状态及状态变化.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、信息的概念是什么？信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。消息的概念是什么？消息是指包含有信息的语言、文字和图像等，例如我们每天从广播节目、报纸和电视节目中获得各种新闻及其他消息。在通信中，消息是指担负着传送信息任务的单个符号或符号序列。这些符号包括字母、文字、数字和语言等。回顾上一讲内容1信号是什么？信号是消息的物理体现，为了在

2、信道上传输消息，就必须把消息加载（调制）到具有某种物理特征的信号上去。信号是信息的载荷子或载体，是物理性的。如电信号、光信号等。回顾上一讲内容通信系统的性能指标有哪些？通信系统的性能指标主要是有效性、可靠性、安全性、经济性。什么叫数据？载有信息的可观测、可传输、可存储及可处理的信号均称为数据。2信源输出的消息分为几类？离散消息，例如由字母、文字、数字等符号组成的符号序列或者单个符号；连续消息，例如话音、图像、在时间上连续变化的电参数等。回顾上一讲内容信息的基本特征是什么？接收者在收到信息之前，对

3、它的内容是不知道的，所以信息是新知识、新内容；信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；信息可以产生，也可以消失，同时信息可以被携带、贮存及处理；信息是可以量度的，信息量有多少的差别。3回顾上一讲内容通信系统的物理模型信源信源编码u加密密钥信道编码信道干扰源窃听者信道解码解密解密密钥信宿信源解码加密xyzZ’y’x’vkk4第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度5本章重点离散/连续信源熵和互

4、信息第二章信源及信源熵本章难点离散序列有记忆信源的熵6第一节信源的描述和分类一、香农信息论的基本点用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。二、信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类{信源离散信源连续信源7第一节信源的描述和分类连续信源连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。离散信源离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数

5、字、数据等符号都是离散消息。离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源8第一节信源的描述和分类离散无记忆信源离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。离散有记忆信源离散有记忆信源所发出的各个符号的概率是有关联的。发出单个符号的信源发出单个符号的信源是指信源每次只发出一个符号代表一个消息；发出符号序列的信源发出符号序

6、列的信源是指信源每次发出一组含二个以上符号的符号序列代表一个消息。9第一节信源的描述和分类发出符号序列的有记忆信源发出符号序列的有记忆信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。10第一节信源的描述和分类三、先验概率及概率空间的形式符号的先验概率一个离散信源发出

7、的各个符号消息的集合为，它们的概率分别为，为符号的先验概率。通常把它们写到一起，称为概率空间：11,第一节信源的描述和分类显然有12第二节离散信源熵和互信息问题：什么叫不确定度？什么叫自信息量？什么叫平均不确定度？什么叫信源熵？什么叫平均自信息量？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？13什么叫后验概率？什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或散布度）？数据处理定理是如何描述的？熵的性质有哪些？第二节离散信源熵和互信息14定义：一个随机事件的自信息

8、量定义为其出现概率对数的负值。即:2.2.1自信息量自信息量说明：因为概率越小，的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于是随机出现的，它是X的一个样值，所以是一个随机量。而是的函数，它必须也是一个随机量。15自信息量的单位的确定在信息论中常用的对数底是2，信息量的单位为比特（bit）；若取自然对数，则信息量的单位为奈特（nat）；若以10为对数底，则信息量的单位为笛特（det）。这三个信息量单位之间的转换关系如下：1nat＝log2el.433bit，ldet＝log2103.32